Info kplace.plala.jpから移設しました

■目的
 Webサーバでの特定IP(Naverクローラ)からの大量のアクセス拒否設定メモです。

■IP逆引き不可サイトからの大量アクセス
 ログ解析により、先々月(2008年2月)からドメイン名不明サイトからの全データ転送量の約30%にもなるアクセスが判明。
 以下の不明サイトの確認と、アクセス拒否を設定しました。
 61.247.217.33
 61.247.217.34
 61.247.217.35
 61.247.217.36
 61.247.217.37
 61.247.217.38
 61.247.217.39
 61.247.217.40
 61.247.217.41
 61.247.217.42
 61.247.217.43
 61.247.217.44
■Whois
 サイトhttp://cqcounter.com/whois/で上記IPアドレスのWhois検索を実行。
 アクセス元は韓国検索ポータルサイトNaverを運営のNHNと判明。

  Whoisの検索結果はこちら

■アクセス拒否設定1
 上記IPはNaverの検索クローラのようで、IPの逆引きができません。
 また結果的に大量転送要求となるのでアクセスを拒否します。
 httpd.conf、TCP Wrapper、ファイアウォールなどによる拒否が可能です。
 以下は/etc/httpd/conf/httpd.confによる例です。
 deny from 61.247.217
■アクセス拒否設定2
 上記拒否から1ヵ月後今度は以下のアドレスで姿を現したので、また拒否設定を追加しました。
 次回再登場の場合はIPアドレスがClassAなので255.0.0.0のマスクで完全拒否の予定です。
 *現在は255.255.255.0のマスクで拒否しています。
 61.247.222.52
 61.247.222.53
 61.247.222.54
 61.247.222.55
 61.247.222.56
■結果
 httpd.confによるアクセス拒否を設定。
 httpd.confでの拒否でもログが残り他のエントリ解析の妨げになるのでルータ側でパケットフィルタリングを追加。
 5分あまりの間に50以上のNaverからのアクセスを拒否しているのを確認できました。

■補足
 アクセス拒否の後でNaverについての以下の情報を確認しました。
 (1)Naverのクローラはルール無視の振る舞いでWeb管理者からアクセス拒否を受けている。
 (2)Naver クローラのIPやUserAgentは姿を変えながらこれまでいくつか存在している。
   参考までに今回は以下。
   UserAgent: Yeti/1.0 (+http://help.naver.com/robots/)

  blog    MovableType