Yahoo! JAPAN検索インフォセンター

内容が重複する複数のURLをまとめるよう、検索エンジンに通知

2010-11-24T05:00:00Z

サイトには、URLは異なるがウェブページの内容は変わらないというケースがあります。たとえば、URLがトラッキング用のパラメータを含んでいる場合や、URLに含まれるパラメータをもとに閲覧環境によってウェブページの表示を最適化しているような場合です。

例

http://www.example.com/products?trackingid=feed
http://www.example.com/products?sessionid=hgjkeor2
http://www.example.com/products?printable=yes&trackingid=footer

このような場合、検索エンジンのインデックスに個々のURLで登録されると、同じ内容のウェブページが検索結果に表示されたり、同じ内容のウェブページであるにもかかわらず、各URLにクローラーが巡回し、サーバーに負荷をかけてしまう、また、サイト内の巡回が効率的に行われないといった不都合が発生することがあります。
このようなことを避けるため、サイト管理者がウェブページのなかでタグを利用して、重複を避けるように検索エンジンに通知する方法が用意されています。

たとえば、http://www.example.com/products?trackingid=feedのに上記のように記述した場合には、http://www.example.com/products?trackingid=feedというURLのウェブページは、http://www.example.com/productsというURLのウェブページと同じ内容であることを、検索エンジンに通知していることになります。

の例">

の記述方法と機能

「href=」に記述するURLは、絶対参照（参照先のファイルのURLを記述する方法）、相対参照（参照元のファイルの場所を基準にして「/」や「.」などを使って参照する方法）のどちらでもかまいません。
この記述は、参照してほしいウェブページを指し示すという点では301リダイレクトの機能に似ていますが、301リダイレクトの場合は、リダイレクト元のウェブページに内容がなく、自動的にリダイレクト先に遷移させられるという点が異なります（参考：「リダイレクトとは？」）。
検索エンジンは、内容が重複するウェブページのクロールやインデックス登録を避けるための情報のひとつとして、このタグの記述をほかの情報やデータとともに利用し、最終的に重複とみなすかどうかを自動的に判定します。
この記述は、Yahoo!検索だけでなくGoogle、MSNの検索エンジンにも共通の規格です。

注意

サイトの構築にあたっては、可能な限りURLを正規化し、ウェブページの内容が重複しないようにすることをおすすめします。

robots.txtとは？

2010-11-24T03:00:00Z

robots.txtは、検索エンジンに対する要求を伝えるファイルです。サイト管理者はrobots.txtをとおして、次の情報を伝えることができます。

クローラーに巡回してほしくないウェブページやディレクトリ
サイトマップの位置

クローラーはrobots.txtの記述に従ってサイト内のウェブページを巡回します。クローラーによる巡回の際は、まずサイトのルートディレクトリ（サイトの一番上の階層）にあるrobots.txtを探します。robots.txtが設置されていなかった場合には、そのサイトに対する巡回制限はないものとみなしてサイト内のウェブページを巡回し、robots.txtが設置されていた場合には、その内容に従って巡回します。
robots.txtの記述や設置の方法は、次のページを参照してください

サーバーのIPアドレスを変更したときは

2010-11-24T03:00:00Z

ドメインネームサーバーの変更がインターネット上に反映されているのであれば、インデックス更新時にはIPアドレスについても更新されます。

この更新の反映には数時間、もしくは数日かかり、ドメインネームサーバーの更新が完了するまでのしばらくの間は、古いIPアドレスにアクセスすることになります。

ウェブページを更新したり、新しいウェブページを追加したとき

2010-11-24T03:00:00Z

ウェブページを更新したとき

検索結果に表示されるウェブページの内容を更新した場合、次回のインデックス更新時にその変更が反映されますので、検索エンジンに変更を通知する必要はありません。
クローラーは、インデックスを更新するために定期的にウェブページを巡回しています。その際、インデックスに登録済みのウェブページが存在しているかどうかも確認しています。

新しいウェブページを追加したとき

新しくウェブページを追加する場合は、検索結果に表示されているウェブページに、そのウェブページへのリンクを設置したり、サイトマップを設置している場合はサイトマップを更新してください。
クローラーは、インデックス更新の際に、すでに登録されているウェブページから新しいウェブページへのリンクをたどり、そのウェブページを見つけます。

注意: ウェブページへのリンクが動的に生成されているサイトの場合、クローラーがリンクを認識できないことがあります。新しく追加したウェブページへのリンクには静的なリンクを設定することをおすすめします。
なお、サイト内のリンクの大半が動的に生成されるリンクの場合には、サイトマップを作成し、そのサイトマップのURLに静的なリンクを指定しておくと、クローラーが新しいウェブページを見つけやすくなります。

検索結果でサマリーを表示しない

2010-11-24T03:00:00Z

ウェブページが検索結果に表示された場合、サマリーが表示されないようにするには、メタタグで次のような記述をします。

例：

注意: 検索結果に表示されるタイトルやサマリーは、検索サービスの利用者にとって、検索キーワードにあったウェブページであるかどうかを判断する基準となります。サマリーを非表示にする場合は、この点にご注意ください。

キャッシュを拒否

2010-11-24T03:00:00Z

「キャッシュ」とは、インデックスを作成する際に各ウェブページの内容を保存したものです。目的のウェブページが見られなくなっているような場合や更新されている場合でも、キャッシュリンクからキャッシュを表示することによってインデックス作成時の情報を探せることがあります。

サイト内のウェブページが検索結果に表示されるのはいいがキャッシュさせたくないという場合は、メタタグにキャッシュ拒否の記述をするか、ウェブページをホスティングしているサーバーでディレクティブを設定します。

メタタグを使用する方法

HTMLののなかに次のように記述します。

サーバーで設定する方法

ウェブページをホスティングしているサーバーのHTTPヘッダーの設定で、次のようなディレクティブ設定をします。

X-Robots-Tag:NOARCHIVE

注意

この説明はキャッシュされないようにする方法で、クローラーの巡回やインデックスへの登録を拒否する方法ではありません。
設定後、クローラーが巡回を行い、インデックスの更新が行われた後に有効となります。
で複数の指定をする場合には、次のように記述します。

検索結果に表示されるタイトルやサマリーの変更

2010-11-24T03:00:00Z

Yahoo!検索に表示されている検索結果（キャッシュおよびキャッシュリンクも含みます）は、データや独自のアルゴリズムにもとづいて自動的に作成されています。このため、検索結果に表示されるタイトルやサマリーなどは、特定のウェブページのみを作為的に変更するということができません。

動的に生成されるウェブページのインデックス

2010-11-24T03:00:00Z

動的に生成されるウェブページでも、クローラーがウェブページを巡回・収集し、インデックスへの登録にふさわしいウェブページであると判断した場合には、インデックスに登録され、検索キーワードに応じて検索結果に表示されるようになります。

ただし、クローラーはウェブページを巡回する際、おもに静的なリンクをたどるため、動的に生成されるリンクは利用しないことをおすすめします。

自分のサイトがインデックスに登録されているかどうかの確認方法

2010-11-24T03:00:00Z

自分の管理・運営するサイトのウェブページが、インデックスに登録されているかどうかを確認するには、いくつかの方法があります。もっとも簡単なのは、Yahoo!検索で、インデックスに登録されているかどうかを確認したいウェブページにある文字列を、「"」でくくって検索する方法です。

例：ウェブページのに「私の愛犬ソフィー」と設定している場合</dt> <dd>「"私の愛犬ソフィー"」を検索キーワードにして検索し、検索結果から自分のサイトのウェブページがあるかを探します。</dd> <dd>検索結果が多い場合には、「"私の愛犬ソフィー" "川原でお散歩"」のようにウェブページ内にあるほかの文字列を追加して、検索結果を絞り込みます。</dd> </dl> <p>また、ドメイン名を検索キーワードにして検索する方法もあります。</p> <h3>ドメイン名をキーワードにした方法</h3> <p>インデックスに登録されているかを確認したいサイトのドメイン名の前に「site:」をつけて検索します。インデックスに登録されている場合には、そのドメインでインデックスに登録されているウェブページが検索結果に表示されます。</p> <pre>site:dir.yahoo.co.jp</pre> <dl class="advice"> <dt>注意</dt> <dd>複数のドメインを持つサイトの場合、いずれか一方のドメインを指定しないと、検索結果がゼロになることがあります。</dd> </dl> </div> </div> </article> <article> <h1>ディレクティブ設定と検索エンジン</h1> <p>2010-11-24T03:00:00Z</p> <div class="asset-content entry-content"> <div class="asset-body"> <p>（X）HTMLファイルでは、メタタグを記述することによってクローラーの巡回やインデックスへの登録を拒否できますが、PDFファイルやExcelファイル、Wordファイル、画像ファイル、動画ファイル、音声ファイル、テキストファイルなどはそもそもメタタグを記述できません。HTML（XHTML）以外のファイルに対する、クローラーによる巡回やインデックスへの登録を拒否するには、X-Robots-Tagによるサーバーでのディレクティブ設定を利用します。</p> <h3>ディレクティブ設定</h3> <p>サーバーのディレクティブ設定を行うもっとも簡単な方法は、「.htaccess」ファイルを利用する方法です。</p> <dl> <dt>例：</dt> <dd>http://www.example.com/docs/sample.pdfのインデックスへの登録を拒否する場合、下記のように記述したファイルを「.htaccess」のファイル名で保存し、「/docs/」ディレクトリ直下に配置します。</dd> <dd><pre> <Files sample.pdf> Header set X-Robots-Tag: "NOINDEX" </Files> </pre> </dd> </dl> <dl class="advice"> <dt>注意</dt> <dd>サーバーによっては、「.htaccess」ファイルの利用やこのファイルによる設定が制限されている場合があります。ディレクティブ設定の方法については、ご利用のサーバー管理者にお問い合わせください。</dd> </dl> <p>なお、サイト内にある特定のファイル形式のファイルの巡回を拒否したいという場合には、robots.txtでパターンマッチ記号と拡張子を利用する方法もあります。この場合、ファイルの拡張子の大文字・小文字に注意してください。次の例は、サイト内のPDFファイル（拡張子が.pdfまたは.PDF）の巡回を拒否する例です。</p> <dl> <dt>例：</dt> <dd><pre> Disallow: /*.pdf$ Disallow: /*.PDF$ </pre></dd> </dl> </div> </div> </article> <article> <h1>特定のキーワードで検索結果に表示されるようにしたい</h1> <p>2010-11-24T03:00:00Z</p> <div class="asset-content entry-content"> <div class="asset-body"> <p>検索結果やその表示順序は、すべて独自のデータやアルゴリズムに基づき機械的に処理されており、このアルゴリズムの詳細は非公開となっています。</p> <p>また、Yahoo! JAPANでは、特定のキーワードでYahoo!検索の検索結果に表示されるようにするサービスの提供や質問への回答は行っておりません。以下は、キーワードと検索結果の関連性に関して、ウェブページ制作の際に注意したほうがよい項目です。</p> <ul> <li>ページの内容は、具体的に記述する。</li> <li>「これ」「それ」「あれ」などの指示代名詞を使わず、具体的な名詞で記述をする。</li> <li>ハイパーリンクを設定する場合には、リンク文字列は「こちら」のような想像しないと内容がわからない言葉ではなく、リンク先のウェブページの内容を簡潔に示す具体的な言葉にする。</li> <li>同音異義の略語がある場合には、正式表記も併記するようにする。</li> <li>文章のなかで同じ単語が出てくる場合、文脈に応じて言葉の言いかえをする。</li> <li>誤字・脱字がないようにする。</li> </ul> </div> </div> </article> <article> <h1>検索結果に表示されなくなる</h1> <p>2010-11-24T03:00:00Z</p> <div class="asset-content entry-content"> <div class="asset-body"> <p>検索結果に表示されていたウェブページが表示されなくなった場合、以下の原因が考えられます。</p> <ul> <li>クローラーがインデックス更新のためにウェブページを巡回した際、サイトが一時的に利用不可能だった。<br />→　インデックスが更新されると、再度検索結果に表示されるようになります。</li> <li>検索キーワードとの関連性が低いと判断された。<br />→　検索結果の表示順序は、検索キーワードとの関連性が高い順となっています。検索したキーワードによっては、ウェブページが検索結果に表示されない場合があります。</li> <li>サイトやウェブページが検索エンジンスパムに該当していると判断された。<br />→　検索エンジンスパムと判断されたサイトやウェブページは、随時インデックスから削除されます。</li> <li>サイト管理者自身が、検索結果に表示されることを拒否した。</li> </ul> </div> </div> </article> <article> <h1>検索結果の表示順序</h1> <p>2010-11-24T03:00:00Z</p> <div class="asset-content entry-content"> <div class="asset-body"> <p>検索結果の表示順序は、ウェブページのテキスト、タイトル、説明文、関連リンク、ウェブページ内容の特徴などの分析に基づき、検索キーワードに対する関連性が高い順となっています。</p> <p>検索結果での表示順序には、次のような要素を含むさまざまな要素が影響しており、順序は常に固定されるわけではありません。</p> <ol> <li>ウェブページへの外部サイトからのリンク数</li> <li>ウェブページの内容</li> <li>Yahoo!での新しいサービス開発のためのテスト</li> <li>新しいサイトがオープンされること</li> <li>アルゴリズムの変更<br />など</li> </ol> <p>なお、公平なサービスを提供するため、表示順序を故意に変更するなどの操作は、有料・無料にかかわらず一切行っておりません。また、表示順序やそのほかの事項については、Yahoo!検索のシステムの変更などの理由で、予告なく変更される可能性があります。</p> </div> </div> </article> <article> <h1>動的に生成されるウェブページの巡回</h1> <p>2010-11-24T03:00:00Z</p> <div class="asset-content entry-content"> <div class="asset-body"> <p>クローラーは、「http://www.example.com/example.cgi<strong>?</strong>page=1」「http://www.example.com/submit.php<strong>?</strong>date=1」のような、フォームやコンテンツマネージメントシステム、ソフトウエアが生成する動的なリンクも巡回するようにしています。また、フレーム内の巡回もサポートしています。</p> <p>このため、商品購入ページや申し込みページなどの動的に生成されるウェブページが、巡回されないようにするには、<a href="http://info.search.yahoo.co.jp/archives/002849.php">robots.txtを使った巡回拒否の設定</a>が必要となります。</p> </div> </div> </article> <article> <h1>クローラー名（ユーザーエージェント名）の確認方法</h1> <p>2010-11-24T03:00:00Z</p> <div class="asset-content entry-content"> <div class="asset-body"> <p>クローラーは、robots.txtやメタタグの記述に従ってウェブページの巡回・収集を行っていますが、インターネット上では、robots.txtやメタタグの記述に従わずにウェブページの巡回・収集を行ったり、ユーザーエージェント名を偽装してウェブページの巡回・収集をするクローラーが存在します。</p> <h3>DNSルックアップの方法</h3> <p>DNSルックアップでIPアドレスやドメインを確認するもっとも簡単な方法は、「コマンドプロンプト」（Windows OSに標準のアプリケーション。［スタート］-［アクセサリ］-［コマンドプロンプト］を選択して起動）や「ターミナル」（Mac OS Xに標準のアプリケーション。Finderで［アプリケーション］フォルダ - ［ユーティリティ］フォルダを開き、「ターミナル.app」をダブルクリックして起動。）を使う方法です。</p> <ol> <li>「コマンドプロンプト」（Windows OSの場合）や「ターミナル」（Mac OS Xの場合）を起動します。</li> <li>「<strong>nslookup {IPアドレス}</strong>」を入力し、Returnキー（Enterキー）を押します。</li> <li>ドメインが表示されます。</li> <li>「<strong>nslookup {ドメイン}</strong>」を入力し、Returnキー（Enterキー）を押します。</li> <li>IPアドレスが表示されます。</li> </ol> <h3>サーバーでのアクセス制限の際の注意点</h3> <p>サーバーでクローラーのアクセス制限を行う場合には、IPアドレスによるアクセス制限ではなく、前述のDNSを参照したアクセス制限をおすすめします。</p> <p>また、ユーザーエージェント名を偽装するようなクローラーは、robots.txtなどの記述に従いません。このようなクローラーの巡回を拒否する方法については、ご利用のサーバー管理者にお問い合わせください。</p> </div> </div> </article> </main></body></html>

Yahoo! JAPAN検索 インフォセンター

内容が重複する複数のURLをまとめるよう、検索エンジンに通知

の記述方法と機能

robots.txtとは？

サーバーのIPアドレスを変更したときは

ウェブページを更新したり、新しいウェブページを追加したとき

ウェブページを更新したとき

新しいウェブページを追加したとき

検索結果でサマリーを表示しない

キャッシュを拒否

メタタグを使用する方法

サーバーで設定する方法

検索結果に表示されるタイトルやサマリーの変更

動的に生成されるウェブページのインデックス

自分のサイトがインデックスに登録されているかどうかの確認方法

Yahoo! JAPAN検索インフォセンター