クローラー

ウェブページの巡回・収集を行うクローラーに関連する説明や、REP（Robots Exclusion Protocol）に従ったrobots.txtの設置方法などの解説。

このページでは、検索エンジンでウェブページの巡回・収集をするクローラーが、どのようにしてウェブページを見つけて巡回し、ウェブページの収集を行っているかを説明しています。

サイト管理者は、ロボッツ・エクスクルージョン・プロトコル（Robots Exclusion Protocol＝REP）に従って記述されたrobots.txtやメタタグの記述で、クローラーの巡回を制限できます。

このページでは、robots.txtを使ったクローラーの巡回の制限方法について、基本的な記述のルールやファイルの設置場所を実例とともに説明しています。robots.txtの記述方法や設置方法については、まずこのページをご覧ください。

このページでは、robots.txtを使ったクローラーの巡回の制限方法のうち、記述に関する拡張書式を実例とともに説明しています。「*」や「$」の正規表現記号を使うことで複数の指定をまとめられます。

ウェブページ内にある特定のリンク先ウェブページの巡回を制限する方法のうち、ブログのトラックバックスパムやコメントスパムを減らすという利点があるとされるrel="nofollow"属性について説明したページです。

特定のリンク先ウェブページの巡回を制限する方法のうち、メタタグの記述やサーバーのHTTPヘッダーの設定による制限方法を説明しているページです。

このページでは、ウェブページのリンクが動的に生成される場合に、クローラーがどのようにページを巡回・収集するかを説明しています。

クローラーのユーザーエージェント名で、挙動の不審なアクセスログが見られた場合の対応方法について説明しているページです。サーバー側でアクセス制限をする場合には、このページに記載されているドメインネームサーバー（DNS）を使ったアクセス制限をおすすめします。

このページでは、クローラーが削除したウェブページへの巡回を続けてしまう原因と対応方法について説明しています。

存在しないウェブページにクローラーがアクセスしているときの原因と対応について説明しています。