ここから本文です

クローラー名(ユーザーエージェント名)の確認方法

更新日 2010年11月24日

クローラーは、robots.txtやメタタグの記述に従ってウェブページの巡回・収集を行っていますが、インターネット上では、robots.txtやメタタグの記述に従わずにウェブページの巡回・収集を行ったり、ユーザーエージェント名を偽装してウェブページの巡回・収集をするクローラーが存在します。

DNSルックアップの方法

DNSルックアップでIPアドレスやドメインを確認するもっとも簡単な方法は、「コマンド プロンプト」(Windows OSに標準のアプリケーション。[スタート]-[アクセサリ]-[コマンド プロンプト]を選択して起動)や「ターミナル」(Mac OS Xに標準のアプリケーション。Finderで[アプリケーション]フォルダ - [ユーティリティ]フォルダを開き、「ターミナル.app」をダブルクリックして起動。)を使う方法です。

  1. 「コマンド プロンプト」(Windows OSの場合)や「ターミナル」(Mac OS Xの場合)を起動します。
  2. nslookup {IPアドレス}」を入力し、Returnキー(Enterキー)を押します。
  3. ドメインが表示されます。
  4. nslookup {ドメイン}」を入力し、Returnキー(Enterキー)を押します。
  5. IPアドレスが表示されます。

サーバーでのアクセス制限の際の注意点

サーバーでクローラーのアクセス制限を行う場合には、IPアドレスによるアクセス制限ではなく、前述のDNSを参照したアクセス制限をおすすめします。

また、ユーザーエージェント名を偽装するようなクローラーは、robots.txtなどの記述に従いません。このようなクローラーの巡回を拒否する方法については、ご利用のサーバー管理者にお問い合わせください。

個別リンクURL