Robots.txt : le guide complet (avec exemples et robots IA)

robots.txt est un fichier texte placé à la racine de votre site qui indique aux robots d’exploration quelles parties du site ils peuvent visiter. Il est simple, puissant et facile à mal configurer – une seule ligne peut empêcher les moteurs d’explorer tout votre site.

Ce guide explique son fonctionnement, comment le rédiger sans risque et comment gérer le nombre croissant de robots IA.

Où se trouve robots.txt

Le fichier doit se trouver à la racine de chaque hôte :

https://example.com/robots.txt

Il ne s’applique qu’à cet hôte et à ce protocole précis. blog.example.com a besoin de son propre fichier, tout comme http:// s’il sert du contenu (il devrait de toute façon rediriger vers HTTPS).

En l’absence de robots.txt (le serveur renvoie 404), les robots considèrent qu’ils peuvent tout explorer.

La syntaxe de base

User-agent: *
Disallow: /admin/
Disallow: /cart
Allow: /admin/public-help/

Sitemap: https://example.com/sitemap.xml

• User-agent désigne le robot auquel s’applique un groupe de règles. * signifie tous les robots.
• Disallow indique un préfixe de chemin que le robot ne doit pas récupérer.
• Allow crée une exception dans une zone interdite.
• Sitemap donne l’URL complète d’un sitemap XML. Il peut figurer n’importe où dans le fichier et s’applique à tous les robots.

Les lignes commençant par # sont des commentaires.

Caractères génériques

Google, Bing et la plupart des grands robots prennent en charge deux caractères spéciaux :

• * correspond à n’importe quelle suite de caractères : Disallow: /*?sort= bloque toute URL contenant ?sort=
• $ marque la fin de l’URL : Disallow: /*.pdf$ bloque les URL se terminant par .pdf

Comment les règles s’appliquent

robots.txt est désormais une norme officielle d’internet (RFC 9309, publiée en 2022), fondée sur la façon dont Google le traite depuis longtemps :

1. Un robot utilise le groupe dont le User-agent lui correspond le plus précisément. Googlebot suit un groupe User-agent: Googlebot s’il existe et ignore alors le groupe *.
2. Au sein de ce groupe, la règle correspondante la plus précise (la plus longue) l’emporte.
3. Si une règle Allow et une règle Disallow sont aussi précises l’une que l’autre, Allow l’emporte.

Exemple :

User-agent: *
Disallow: /shop/
Allow: /shop/sale/

/shop/sale/shoes est autorisée (la règle Allow est plus longue), tandis que /shop/new/shoes est bloquée.

Ce que fait robots.txt – et ce qu’il ne fait pas

Il contrôle l’exploration, pas l’indexation. Une URL interdite peut quand même apparaître dans les résultats si d’autres pages pointent vers elle, généralement sans description. Pour exclure une page des résultats, autorisez l’exploration et utilisez une balise meta robots noindex ou un en-tête X-Robots-Tag.

Il est public. N’importe qui peut lire votre robots.txt. Ne l’utilisez jamais pour cacher des zones privées – cela revient à les signaler. Protégez le contenu privé par une authentification.

Il est volontaire. Les robots sérieux le respectent ; les robots malveillants l’ignorent.

Exemples sûrs

Tout autoriser (et indiquer le sitemap)

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/wp-sitemap.xml

Boutique en ligne

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /*?*sort=
Disallow: /*?*filter=

Sitemap: https://example.com/sitemap.xml

Bloquer les paramètres de tri et de filtre évite aux robots de perdre leur temps sur des milliers de quasi-doublons.

Site de préproduction (tout bloquer)

User-agent: *
Disallow: /

À utiliser uniquement sur les sites de préproduction ou de développement – et mieux encore, protégez-les par mot de passe. Oublier de retirer cette règle au lancement est l’une des causes les plus fréquentes de disparition d’un site des résultats.

Gérer les robots IA

Les entreprises d’IA exploitent plusieurs types de robots, et il vaut la peine de les traiter différemment :

Google-Extended est un jeton de contrôle et non un robot distinct : le bloquer empêche l’utilisation du contenu pour entraîner les modèles Gemini, mais n’affecte pas la recherche Google ni les AI Overviews, qui reposent sur Googlebot.

Une configuration intermédiaire courante bloque l’entraînement tout en restant visible dans la recherche IA :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Consultez régulièrement la documentation des fournisseurs, car les noms et rôles des robots évoluent.

Erreurs fréquentes

1. Laisser le Disallow: / de la préproduction. Vérifiez toujours robots.txt après un lancement ou une migration.
2. Bloquer CSS et JavaScript. Google en a besoin pour afficher les pages ; les bloquer peut faire paraître les pages cassées aux yeux de Googlebot.
3. Utiliser robots.txt pour retirer des pages de Google. Le noindex d’une page bloquée ne peut pas être vu. Utilisez plutôt noindex.
4. Bloquer des pages porteuses d’une canonical ou d’une redirection que vous voulez faire voir aux moteurs.
5. Les fautes de frappe et la casse. Les chemins sont sensibles à la casse : /Admin/ et /admin/ sont différents.
6. Un fichier énorme. Google ne lit que les 500 premiers Kio.
7. Servir robots.txt avec des erreurs. Si robots.txt renvoie une erreur 5xx, Google peut suspendre temporairement l’exploration du site.

Tester les modifications

Avant de publier un nouveau robots.txt, testez-y vos URL les plus importantes – l’accueil, les catégories et pages produits clés, ainsi que vos fichiers CSS et JavaScript. Le rapport robots.txt de Search Console affiche la dernière version récupérée par Google et les problèmes éventuels.

robots.txt, noindex ou mot de passe

Ces trois outils résolvent des problèmes différents, et les confondre est une source fréquente de problèmes d’indexation :

Gérer les paramètres et la navigation à facettes

Les sites e-commerce et d’annonces génèrent souvent des URL comme celles-ci pour chaque combinaison de filtres :

/shoes?colour=red
/shoes?colour=red&size=8
/shoes?colour=red&size=8&sort=price

Si ces pages n’apportent pas de valeur unique aux internautes, bloquez les paramètres qui créent des combinaisons infinies, comme le tri :

User-agent: *
Disallow: /*?*sort=
Disallow: /*?*sessionid=

Veillez à ne pas bloquer les pages de filtres sur lesquelles vous voulez vous classer – par exemple, une page « chaussures de running rouges » ayant une vraie demande doit être une URL explorable et indexable avec son propre contenu.

Lire le robots.txt de n’importe quel site

Consulter le robots.txt de vos concurrents peut être instructif. Vous voyez quelles sections ils excluent de l’exploration, où se trouvent leurs sitemaps et comment ils gèrent les robots IA. Comme le fichier est public, c’est aussi la première chose à vérifier lorsqu’un site que vous gérez perd soudain en visibilité.

Tests et surveillance

Les modifications de robots.txt sont à fort enjeu : traitez-les comme du code.

1. Conservez une copie de la version précédente avant toute modification
2. Testez les URL importantes – accueil, catégories et produits clés, fichiers CSS et JavaScript – avec les nouvelles règles avant publication
3. Après publication, vérifiez que le fichier renvoie un statut 200 et du texte brut, pas une page d’erreur HTML
4. Surveillez les rapports robots.txt et Indexation des pages de Search Console dans les jours qui suivent

Certains CMS et extensions SEO génèrent robots.txt dynamiquement. Si vous téléversez un fichier robots.txt physique, il remplace généralement le fichier virtuel – assurez-vous de modifier la version réellement servie.

À retenir

• robots.txt contrôle l’exploration, pas l’indexation – utilisez noindex pour exclure des pages des résultats.
• La règle correspondante la plus précise l’emporte, et Allow bat Disallow en cas d’égalité.
• Ne bloquez jamais les fichiers CSS ou JavaScript nécessaires à l’affichage des pages.
• Distinguez les robots d’entraînement IA des robots de recherche IA ; bloquer l’entraînement n’affecte pas la recherche.
• Vérifiez toujours robots.txt après un lancement ou une migration pour repérer un Disallow: / oublié.
• Testez les URL importantes avant de publier toute modification.

Questions fréquentes

Ai-je besoin d’un fichier robots.txt ?

Pas obligatoirement. Sans lui, les robots accèdent à tout. Mais robots.txt est l’endroit standard pour indiquer votre sitemap et tenir les robots à l’écart des zones de faible valeur : la plupart des sites devraient en avoir un.

Google prend-il en charge crawl-delay ?

Non. Googlebot ignore Crawl-delay. Bing et quelques autres robots le respectent.

Combien de temps avant que les changements s’appliquent ?

Google met généralement robots.txt en cache jusqu’à 24 heures : les changements peuvent donc mettre une journée à être pris en compte.

Puis-je bloquer une page précise ?

Oui – Disallow: /private-page – mais rappelez-vous que cela bloque l’exploration, pas l’indexation. Utilisez noindex si l’objectif est d’exclure la page des résultats.