項目 |
条件 |
html記述 | サーバー内ファイルへのサクセスは全て相対アドレス |
robot.txt | アーカイブ先への検索エンジンのアクセスを不許可 User-Agent: * Disallow: /archive/ |
アーカイブ先index.html |
検索index重複回避のためアーカイブ先index.htmlは正規化指定 <link rel="canonical" href="https://www.xxxxxx.com/"> |
アーカイブ先archive.html |
アーカイブ先へのリンクのあるファイルはアーカイブしない 理由: アーカイブ先へのリンクを含むため無限ループを回避 |