robots.txt 生成ツール
サイトマップ、ブロックするフォルダ、AI クローラーの制御を含む robots.txt を作成します。
robots.txt 生成ツールについて
robots.txt は、クローラーがサイトのどこを訪問してよいかを伝えるファイルです。管理画面、サイト内検索の結果、カート、無限に増える絞り込みの組み合わせからボットを遠ざけ、すべてのクローラーに XML サイトマップを知らせるのに最適な場所です。
このツールは少ない選択で整った有効なファイルを作成します。一般的なプラットフォーム向けのプリセットがあり、AI 学習クローラー（モデル学習のためにコンテンツを収集）と AI 検索クローラー（AI 検索結果で回答・引用するためにページを取得）を個別に制御できます。学習をブロックしつつ AI 検索には表示されるようにすることも可能です。結果をドメインのルートに /robots.txt としてアップロードしてください。
よくある質問
robots.txt で非公開ページを隠せますか？
いいえ。このファイルは公開されており、行儀の良いボットが自主的に従うだけです。非公開コンテンツはパスワードや noindex で守り、robots.txt には頼らないでください。
AI 学習ボットをブロックすると Google の順位に影響しますか？
いいえ。Google-Extended はコンテンツを Gemini の学習に使うかどうかだけを制御し、Googlebot と Google 検索には影響しません。
CSS と JavaScript はブロックすべきですか？
いいえ。Google はページを正しくレンダリングするためにそれらを必要とします。ブロックするとページの理解に悪影響が出ます。