URL登録とクロール@cbreeze

Info kplace.plala.jpから移設しました

■目的
　開設から２年経過し、あえて登録申請をしていないのにGoogleやYahoo検索を経由したアクセス数が増えているように感じています。そこで
●GoogleやYahooに登録していないのに、検索が可能になっているのはなぜ？
●公開範囲を限定するため写真共有などのページの登録を許可しない方法は？
●Pageランクが以外に高いのはなぜ？
を探ってみました。

■Googｌe登録
　URL登録に関する情報についてはGoogleの「Webマスター関連情報」に説明があります。
　

Google「Webマスター関連情報」はこちら

■URLの登録
　URLを登録する方法には2種類があるようです。
　1.申請による方法
　

Googleへの登録申請はこちら

　2.クロールによる自動登録...毎月
　 Googleでは以下の説明を見ることができます。

「完全に自動化されたサーチエンジンである Google は、"スパイダー" と呼ばれるロボットを使って毎月 Web をクロールし、Google のインデックスに登録するサイトを見つけます。このプロセスは人の手を介さずに自動的に行われるため、Google のインデックスにサイトを申請する必要はありません。実際に、インデックスに登録されているサイトのほとんどが自動的に登録されたものです」
　

Googleへの自動登録詳細はこちら

■登録の拒否
　サイト単位で自動登録の許可、不許可を指定するにはrobots.txtを作成しサイトのルートディレクトリに置くことで巡回ロボットのサーチ範囲を制限でます。
　

robots.txtの詳細はこちら

robots.txtの例
サイト全体をすべてのクローラ（YahooやGoogle）から拒否する場合

User-Agent: *
Disallow: /

サイトの一部（CGIのページ）をすべてのクローラ（YahooやGoogle）から拒否する場合
　

User-Agent: *
　Allow: /
　Disallow: /cgi-bin

なおページ単位の指定が必要な場合は各 HTML ページに <META> タグを追加して、ロボットがそのページをインデックスに登録しないように、またはページのリンクを追跡しないように指示できます。
　

META name="ROBOTS" content="NOINDEX, NOFOLLOW">

METAタグの詳細はこちら

■Pageランク
ページのランク付けは高い方が当然参照される確立が高くなります。
　

Googleのランク順位付け詳細はこちら

■結果
1.毎月クロールによる自動登録が行われています。申請による登録はそれほど意味をなさないようです。
2.クロールによる登録の許可や不許可を指定できますが、リンクのないページは登録から削除されるようです。したがってどこからもリンクのないページを使えば仲間内の写真など限定した範囲の共有などOKかもしれません。...あくまでも推定です。もちろん必要な場合はパスワードなどで制限する方法は当然あります。
3.ランク付けに関してはGoogleで一部公開されていますが、結局よく理解できませんでした。故意にランクを上げるのを防止する上からは当然かもしれません。