Info kplace.plala.jpから移設しました

---

■目的
　Webサーバでの特定IP(Naverクローラ）からの大量のアクセス拒否設定メモです。

■IP逆引き不可サイトからの大量アクセス
　ログ解析により、先々月(2008年2月)からドメイン名不明サイトからの全データ転送量の約30%にもなるアクセスが判明。
　以下の不明サイトの確認と、アクセス拒否を設定しました。
■Whois
　サイトhttp://cqcounter.com/whois/で上記IPアドレスのWhois検索を実行。
　アクセス元は韓国検索ポータルサイトNaverを運営のNHNと判明。

　 Whoisの検索結果はこちら

■アクセス拒否設定1
　上記IPはNaverの検索クローラのようで、IPの逆引きができません。
　また結果的に大量転送要求となるのでアクセスを拒否します。
　httpd.conf、TCP Wrapper、ファイアウォールなどによる拒否が可能です。
　以下は/etc/httpd/conf/httpd.confによる例です。
■アクセス拒否設定2
　上記拒否から１ヵ月後今度は以下のアドレスで姿を現したので、また拒否設定を追加しました。
　次回再登場の場合はIPアドレスがClassAなので255.0.0.0のマスクで完全拒否の予定です。
　＊現在は255.255.255.0のマスクで拒否しています。
■結果
　httpd.confによるアクセス拒否を設定。
　httpd.confでの拒否でもログが残り他のエントリ解析の妨げになるのでルータ側でパケットフィルタリングを追加。
　5分あまりの間に50以上のNaverからのアクセスを拒否しているのを確認できました。

■補足
　アクセス拒否の後でNaverについての以下の情報を確認しました。
　(1)Naverのクローラはルール無視の振る舞いでWeb管理者からアクセス拒否を受けている。
　(2)Naver クローラのIPやUserAgentは姿を変えながらこれまでいくつか存在している。
　　　参考までに今回は以下。
　　　UserAgent: Yeti/1.0 (+http://help.naver.com/robots/)

---