サイト全体の診断（クローラー）
サイト全体をクロールして、エラーページ、重複タイトル、不足しているタグ、内容の薄いページを見つけます。
サイト全体の診断（クローラー）について
1 ページのチェックでわかるのは 1 つの URL の問題です。サイト監査は Googlebot と同じようにトップページから内部リンクをたどってサイトをクロールし、多くのページを見て初めてわかる問題を見つけます：重複したタイトルや説明文、内部リンク切れ、リダイレクトチェーン、孤立した noindex ページ、内容の薄いページ、階層の深すぎるページなどです。
クローラーは robots.txt を守り、同時接続数を抑えて丁寧にクロールし、各ページのステータスコード、タイトル、説明文、H1、文字数、canonical、robots 指示、応答時間を確認します。結果は問題ごとにまとめられ、並べ替え、絞り込み、CSV エクスポートができます。
よくある質問
何ページまでクロールできますか？
無料プランでは 1 回のクロールにつき最大 100 ページです。トップページの内部リンクから外側へ向かってページを発見するため、通常は重要なページから先にクロールされます。
クロールでサイトが遅くなりませんか？
いいえ。クローラーは一度に数ページしか取得せず、上限に達すると停止するため、通常の訪問者のアクセスよりずっと軽い負荷です。
一部のページが見つからないのはなぜですか？
クローラーは HTML 内の通常のリンクだけをたどります。JavaScript、フォーム、検索ボックス経由でしか到達できないページや、robots.txt でブロックされたページは見つかりません。