クローラーは、「http://www.example.com/example.cgi?page=1」「http://www.example.com/submit.php?date=1」のような、フォームやコンテンツマネージメントシステム、ソフトウエアが生成する動的なリンクも巡回するようにしています。また、フレーム内の巡回もサポートしています。

このため、商品購入ページや申し込みページなどの動的に生成されるウェブページが、巡回されないようにするには、robots.txtを使った巡回拒否の設定が必要となります。