クローラーは、サイト内のウェブページを広く巡回しますが、巡回されたウェブページは、さまざまな条件でのチェックが行われ、インデックスに登録されます。ウェブページによっては、チェックの結果インデックスには登録されず、検索結果に表示されないこともあります。また、内容が類似していると判定されたページは、インデックスに登録されないこともあります。

なお、サイト内のすべてのウェブページをくまなくクローラーが巡回するとは限りません。自分のサイト内をクローラーが効率的に巡回できるよう、robots.txtの設置やサイトマップの設置などをおすすめします。