検索エンジンの仕組み：クロール、インデックス、ランキングをわかりやすく解説

検索するたびに、検索エンジンは数千億ものページの中から一握りを選び、一瞬で並べ替えます。それができるのは、作業のほとんどがあなたが入力するずっと前に済んでいるからです。

その作業は4つの段階で行われます。クロール、レンダリング、インデックス、ランキングです。これらを理解することはSEOの土台です。どの段階でも、ページが成功することもあれば、気づかないうちに失敗することもあるからです。

段階1：クロール – ページを見つける

検索エンジンは、クローラーと呼ばれる自動プログラムを使ってWebページを取得します（Google のものは Googlebot、Microsoft のものは Bingbot）。クローラーは主に3つの方法で新しいURLを見つけます。

• すでに知っているページのリンクをたどる
• サイト運営者が送信した XMLサイトマップを読む
• Google Search Console や、Bing などが対応する IndexNow プロトコルを通じた URLの送信

クローラーは毎日すべてのページを訪れるわけではありません。サイトの重要度、更新頻度、サーバーの応答速度をもとに、どのくらいの頻度で再訪するかを決めます。非常に大規模なサイトではクロールバジェット（一定期間に検索エンジンがクロールしようとし、かつクロールできるURLの数）を意識する必要がありますが、数千ページ程度のサイトであれば、たいてい問題にはなりません。

クロールを妨げるもの

• セクションやサイト全体を禁止する robots.txt のルール
• クローラーの速度を落とさせるサーバーエラー（5xx）やタイムアウト
• どこからもリンクされていない孤立ページ
• JavaScript のクリック処理だけで作られたナビゲーションなど、本物のリンクではないリンク

段階2：レンダリング – ブラウザのようにページを見る

多くの現代的なページは JavaScript で作られています。サーバーが送る HTML はほとんど空で、コンテンツはブラウザ上で追加されることもあります。そうしたコンテンツを見るために、Google はページをヘッドレス版の Chrome、つまり Web Rendering Service で処理します。

レンダリングには追加のリソースが必要なため、最初のクロールより後に行われることがあります。そのため、JavaScript の実行後にしか現れないコンテンツはインデックスが遅れることがあり、スクリプトのエラーがあれば完全に隠れてしまうこともあります。ほとんどの AI クローラーや多くのボットは、JavaScript をまったく実行しません。

最も安全なのは、メインコンテンツ、リンク、title、meta description、canonical タグを最初の HTML に含めることです。サーバーサイドレンダリングや静的生成は、まさにそれを実現します。

段階3：インデックス – ページを理解して保存する

ページを取得し（必要であればレンダリングした）後、検索エンジンはテキスト、見出し、画像、リンク、構造化データ、メタデータを分析します。ページのテーマ、言語、どのページと重複しているか、保存する価値があるかを判断します。

インデックスは選別的です。Google はクロールしたすべてのページをインデックスするわけではありません。ページが除外される理由には次のようなものがあります。

• noindex ディレクティブでインデックスしないよう求めている
• 別のページと重複している（この場合、Google はインデックスする正規バージョンを1つ選びます）
• ほとんど空のページや自動生成されたコンテンツなど、価値が低い
• エラーやリダイレクトを返している

どのページがインデックスされ、ほかのページがなぜされていないかは、Google Search Console の**「ページのインデックス登録」**レポートで確認できます。

正規化

同じコンテンツが複数のURLで見られることはよくあります。www の有無、トラッキングパラメーター付き、並び順違いなどです。検索エンジンはこうした重複をグループ化し、検索結果に表示する正規URLを1つ選びます。その選択には、リダイレクト、rel="canonical" タグ、一貫した内部リンク、サイトマップで影響を与えられます。

段階4：ランキング – 結果を選んで並べる

誰かが検索すると、検索エンジンはインデックスから一致するページを探し、多くのシグナルを使って並べ替えます。Google は、考慮する大まかな要素を次のように説明しています。

• クエリの意味 – スペルの修正、同義語、意図を含めて、検索した人が本当に知りたいこと
• 関連性 – ページの内容がその意味にどれだけ合っているか
• 品質 – コンテンツが役に立ち、信頼でき、専門性・経験・権威性・信頼性を示しているというサイン
• ユーザビリティ – モバイル対応、HTTPS、Core Web Vitals などのページエクスペリエンス
• コンテキスト – 検索した人の位置、言語、設定

ほかのサイトからのリンクは、今でも権威性を示す重要なシグナルであり、検索エンジンがページを見つけて理解する助けになります。順位を決める単一の要素はなく、関連性と有用性が何より優先されます。

検索結果は10本の青いリンクだけではない

いまの検索結果ページには、強調スニペット、画像や動画の結果、ローカルの地図パック、「他の人はこちらも質問」ボックス、ショッピングの結果、AI による概要が含まれます。それぞれインデックスから少しずつ異なる方法で情報を引き出しています。構造化データはページを一部のリッチリザルトの対象にでき、明確でよく構成されたコンテンツはスニペットや AI の回答に引用されやすくなります。

AI検索はどこに位置するのか

Google の AI による概要や AI モード、ChatGPT の検索、Perplexity といった AI 検索も、Webページを見つけて読むことに依存しています。Google の AI 機能は通常の検索インデックスを利用するため、基本は同じです。使われるためには、ページがクロール可能で、インデックス可能で、スニペット表示が許可されている必要があります。ほかの AI 検索エンジンは OAI-SearchBot や PerplexityBot などの独自のクローラーを運用しており、robots.txt で許可またはブロックできます。

各段階でコントロールできること

簡単な健康チェック

1. Google で site:yourdomain.jp と検索し、おおよそのインデックス数を把握します（数字は推定値です）。
2. Search Console の「ページのインデックス登録」レポートを開き、インデックスされていない理由を確認します。
3. 最も重要なページを監査し、クロール、インデックス、内部SEOの問題を見つけます。

クロールバジェット：重要になるときと管理方法

ほとんどのWebサイトでは、Google は何の手助けもなく重要なページをすべてクロールします。クロールバジェットが現実の問題になるのは、数万URL以上を持つサイト（大規模なECサイト、マーケットプレイス、求人・不動産などの掲載サイト、ニュースサイト）や、サーバーが遅いサイトです。

検索エンジンがどれだけクロールするかは、2つの要素で決まります。

• クロール能力 – 速度を落とさずにサーバーが処理できるリクエスト数。応答が遅くなったりエラーを返したりすると、Googlebot はペースを落とします。
• クロールの必要性 – ページの人気や更新頻度にもとづいて、Google がどれだけクロールしたいか。

クロールバジェットを浪費する最もよくある原因は、価値の低いURLを大量に生み出すことです。フィルターの組み合わせごとにURLを作るファセットナビゲーション、URL内のセッションID、どこまでも続くカレンダーページ、サイト内検索の結果、ページ分割URLのない無限スクロールなどです。どれも、クローラーが律儀に取得するほぼ同じページを何千も生み出す可能性があります。

クロールを重要なページに集中させるには、次のようにします。

1. 独自の価値を加えない並び替えやフィルターのパラメーターなど、クロールの罠を robots.txt でブロックする
2. クロールさせたくないURLにはリンクしない
3. サイトマップには正規のインデックス可能なURLだけを載せる
4. リクエストを無駄にするリダイレクトチェーンやリンク切れを修正する
5. サーバーの応答時間を改善する（速いサイトほど多くクロールされます）

ログファイルからわかること

サーバーのログファイルには、検索エンジンのクローラーを含め、サイトへのすべてのリクエストが記録されます。分析すると、Googlebot が実際にどのページを、どのくらいの頻度で訪れ、どのステータスコードを受け取っているかがわかります。ツールの推定ではなく、実際に起きているクロールを把握できる唯一の方法がログ分析です。cPanel のホスティングでは、生のアクセスログは通常「Raw Access」や「Metrics」から入手できます。ボットはユーザーエージェントを偽装することが多いため、Googlebot を名乗るリクエストが本物かどうかを確認しましょう。Google はクローラーが使う IP アドレス範囲を公開しています。

モバイルファーストインデックス

現在 Google は、クロールとインデックスに主にページのモバイル版を使っています。主なクローラーは Googlebot スマートフォンです。モバイルサイトがデスクトップ版よりコンテンツやリンクが少なかったり、構造化データが異なっていたり、画像が欠けていたりすると、Google は欠けている部分を一切見ないかもしれません。レスポンシブデザイン（すべての端末に同じ HTML を使い、CSS で調整する方法）なら、この問題をまるごと避けられます。

具体例

新しいレシピブログが、天然酵母パンの記事を公開したとします。次のようなことが起こります。

1. Googlebot が定期的に訪れるブログのトップページに、新しい記事へのリンクが追加されます。サイトマップにも新しい lastmod 日付で記載されます。
2. Googlebot がURLを発見し、クロールの待ち行列に加えます。ブログが新しいため、1〜2日かかることがあります。
3. Googlebot がページを取得します。レシピは HTML に含まれているので、レンダリングの遅れは発生しません。
4. Google がページをインデックスし、Recipe の構造化データ、材料、著者を記録し、日本語の天然酵母パンのレシピであると判断します。
5. 誰かが「初心者向け 簡単 天然酵母パン レシピ」と検索すると、Google はこの記事をほかの何千もの記事と比較し、関連性、品質シグナル、サイトの評判、検索した人の状況にもとづいてランク付けします。

どのステップにも改善の余地があります。内部リンクで発見を早め、サーバーで生成したコンテンツでインデックスを早め、構造化データで理解を深め、本当に役立つコンテンツで順位を上げられます。

重要なポイント

• 検索エンジンはクロール、レンダリング、インデックス、ランキングの4段階で動いており、ページはどの段階でも失敗し得ます。
• クローラーはリンク、サイトマップ、送信を通じてページを見つけ、robots.txt がどこへ行けるかを制御します。
• 表示に JavaScript が必要なコンテンツは、Google ではインデックスが遅れ、ほとんどの AI クローラーには見えません。
• インデックスは選別的です。重複は1つの正規URLにまとめられ、価値の低いページは除外されることがあります。
• ランキングでは関連性、品質、ユーザビリティ、コンテキストが重視され、リンクは今でも重要な権威性のシグナルです。
• AI検索の機能も同じ土台の上にあります。ページはクロール可能、インデックス可能で、スニペット表示が許可されている必要があります。

よくある質問

Google が新しいページをインデックスするまでどのくらいかかりますか？

数時間から数週間までさまざまです。重要なページからリンクする、サイトマップに含める、Search Console でインデックス登録をリクエストする、といった方法で発見が早まります。

サイトマップを送信すればインデックスは保証されますか？

いいえ。サイトマップは検索エンジンがURLを見つける助けになりますが、各ページをインデックスする価値があるかどうかは検索エンジンが判断します。

なぜ Google は私が望むものとは別のURLをインデックスするのですか？

Google は、リダイレクト、canonical タグ、内部リンク、サイトマップなどのシグナルを使って、重複グループの中から正規バージョンを選びます。これらのシグナルがすべて、望むURLを一貫して指すようにしましょう。

検索エンジンにサイトを登録する必要はありますか？

厳密には必要ありません。検索エンジンはほとんどのサイトをリンクから見つけます。ただし、Google Search Console や Bing Webmaster Tools でサイトを確認し、サイトマップを送信すれば、発見が早まり、貴重な診断データも得られます。