robots.txt テスター
robots.txt を取得・検証し、任意の URL が Googlebot や AI ボットにブロックされていないかテストします。
robots.txt テスターについて
robots.txt はサイトのルート（/robots.txt）に置くテキストファイルで、クローラーがどの部分を訪問できるかを指定します。ステージング環境の名残の Disallow: / のように、たった 1 行の誤りで検索エンジンがすべてをクロールできなくなることもあります。
このテスターは公開中のファイルを取得して各行を検証し、選んだクローラーに対してパスが許可されているかを、どのルールが一致したかとともに表示します。Google が採用する公式の robots.txt 標準（RFC 9309）に従い、最も具体的な（最も長い）ルールが優先され、同点の場合は Allow が優先されます。GPTBot、ClaudeBot、PerplexityBot などの AI クローラーがそのパスにアクセスできるかも一目でわかります。
よくある質問
robots.txt でページのインデックスを防げますか？
いいえ。防げるのはクロールで、インデックスではありません。ブロックした URL でも、他サイトからリンクされていれば検索結果に表示されることがあります。検索結果から除外するには、クロールを許可して noindex メタタグを追加してください。
AI クローラーはブロックすべきですか？
判断はご自身で。学習用ボット（GPTBot や Google-Extended など）をブロックしても Google 検索には影響しません。検索用ボット（OAI-SearchBot や PerplexityBot など）をブロックすると、それらの AI 検索結果にサイトが表示されなくなる可能性があります。
robots.txt はどこに置く必要がありますか？
各ホストとプロトコルのルートです：https://example.com/robots.txt。blog.example.com のようなサブドメインには別のファイルが必要です。