検索エンジンは、大きく分け、以下の3つで構成されます。

クローラー

「スパイダー」「ロボット」「検索エンジンロボット」「ボット」とも呼ばれます。クローラーは、ウェブページ内のリンク（「ハイパーリンク」）をたどることで、ウェブページを巡回・収集します。

インデクサー

クローラーが収集したウェブページから、URLやウェブページの内容の特徴語などの抽出を行って、キーワードで検索できるインデックス（データベースの一種）を作成します。

なお、クローラーが巡回・収集したウェブページからインデックスを作成する際、さまざまな条件でウェブページの選別や分類が行われます。このため、ウェブページがクローラーによって巡回されても、インデックスに登録され、検索結果に表示されるようになるとは限りません。

検索サーバー

インデックスに登録されたウェブページに対して、検索結果の表示順序などの情報を追加します。
ブラウザに表示される検索結果ページを作成する部分は「フロントエンド」と呼ばれます。フロントエンドは、利用者が検索窓に入力したキーワードを検索サーバーに問い合わせ、検索サーバーから返された結果を整形して表示するという処理を行っています。