Testeur de robots.txt
Récupérez et validez robots.txt, et testez si une URL est bloquée pour Googlebot ou les robots IA.
À propos de l’outil Testeur de robots.txt
robots.txt est un fichier texte à la racine du site (/robots.txt) qui indique aux robots les parties qu’ils peuvent visiter. Une seule ligne erronée – comme un Disallow: / oublié d’un site de préproduction – peut empêcher les moteurs d’explorer tout le site.
Ce testeur récupère le fichier en ligne, valide chaque ligne et vous dit si un chemin est autorisé pour le robot choisi, en montrant exactement la règle correspondante. Il suit la norme officielle robots.txt (RFC 9309) utilisée par Google : la règle la plus spécifique (la plus longue) l’emporte, et Allow gagne en cas d’égalité. Il montre aussi d’un coup d’œil quels robots IA – comme GPTBot, ClaudeBot et PerplexityBot – peuvent accéder au chemin.
Questions fréquentes
robots.txt empêche-t-il l’indexation d’une page ?
Non. Il empêche l’exploration, pas l’indexation. Une URL bloquée peut apparaître dans les résultats si d’autres sites pointent vers elle. Pour retirer une page des résultats, autorisez l’exploration et ajoutez une balise meta noindex.
Dois-je bloquer les robots IA ?
C’est votre choix. Bloquer les robots d’entraînement (comme GPTBot ou Google-Extended) n’affecte pas la recherche Google. Bloquer les robots de recherche (comme OAI-SearchBot ou PerplexityBot) peut empêcher votre site d’apparaître dans ces résultats de recherche IA.
Où placer robots.txt ?
À la racine de chaque hôte et protocole : https://example.com/robots.txt. Les sous-domaines comme blog.example.com ont besoin de leur propre fichier.