URL登録とクロール				Rev0:2003/04/15
	HOME	PC	SKI	お手伝い	管理人

項目	内容
目的	開設から２年経過し、あえて登録申請をしていないのにGoogleやYahoo検索を経由したアクセス数が増えているように感じています。そこで ●GoogleやYahooに登録していないのに、検索が可能になっているのはなぜ？ ●公開範囲を限定するため写真共有などのページの登録を許可しない方法は？ ●Pageランクが以外に高いのはなぜ？ を探ってみました。
情報はどこ？	URL登録に関する情報についてはGoogleの「Webマスター関連情報」に説明があります。以降は上記の内容を要約したものです。 詳細はこちら
URL登録	URLを登録する方法には2種類があるようです。 1.申請による方法 　Googleへの登録申請はこちら 2.クロールによる自動登録…毎月 　 Googleでは以下の説明を見ることができます 「完全に自動化されたサーチ エンジンである Google は、"スパイダー" と呼ばれるロボットを使って毎月 Web をクロールし、Google のインデックスに登録するサイトを見つけます。このプロセスは人の手を介さずに自動的に行われるため、Google のインデックスにサイトを申請する必要はありません。実際に、インデックスに登録されているサイトのほとんどが自動的に登録されたものです」 詳細はこちら
登録の制限	サイト単位で自動登録の許可、不許可を指定するにはrobots.txtを作成しサイトのルートディレクトリに置くことで巡回ロボットのサーチ範囲を制限でます。 robots.txtの詳細はこちら robots.txtの例 サイト全体をすべてのクローラ（YahooやGoogle）から拒否する場合 　User-Agent: * 　Disallow: / サイトの一部（CGIのページ）をすべてのクローラ（YahooやGoogle）から拒否する場合 　User-Agent: * 　Allow: / 　Disallow: /cgi-bin なおページ単位の指定が必要な場合は各 HTML ページに <META> タグを追加して、ロボットがそのページをインデックスに登録しないように、またはページのリンクを追跡しないように指示できます。 　例：<META name="ROBOTS" content="NOINDEX, NOFOLLOW"> 詳細はこちら
Pageランク	ページのランク付けは高い方が当然参照される確立が高くなります。 Googleのランク順位付けについてこちらを参照できます。
結果として	1.毎月クロールによる自動登録が行われています。申請による登録はそれほど意味をなさないようです。 2.クロールによる登録の許可や不許可を指定できますが、リンクのないページは登録から削除されるようです。したがってどこからもリンクのないページを使えば仲間内の写真など限定した範囲の共有などOKかもしれません。…あくまでも推定です。もちろん必要な場合はパスワードなどで制限する方法は当然あります。 3.ランク付けに関してはGoogleで一部公開されていますが、結局よく理解できませんでした。故意にランクを上げるのを防止する上からは当然かもしれません。

　

[HOME]　[PC]　[SKI]　[お手伝い]　[管理人]