Probador de robots.txt
Obtén y valida el robots.txt, y comprueba si alguna URL está bloqueada para Googlebot o bots de IA.
Acerca del Probador de robots.txt
robots.txt es un archivo de texto en la raíz del sitio (/robots.txt) que indica a los rastreadores qué partes pueden visitar. Una sola línea errónea, como un Disallow: / olvidado de un entorno de pruebas, puede impedir que los buscadores rastreen todo.
Este probador obtiene el archivo en vivo, valida cada línea y te dice si una ruta está permitida para el rastreador que elijas, mostrando exactamente qué regla coincidió. Sigue el estándar oficial de robots.txt (RFC 9309) que usa Google: gana la regla más específica (la más larga) y Allow gana en caso de empate. También muestra de un vistazo qué rastreadores de IA, como GPTBot, ClaudeBot y PerplexityBot, pueden acceder a la ruta.
Preguntas frecuentes
¿Impide robots.txt que una página se indexe?
No. Impide el rastreo, no la indexación. Una URL bloqueada puede aparecer en los resultados si otros sitios enlazan a ella. Para sacar una página de los resultados, permite el rastreo y añade una metaetiqueta noindex.
¿Debo bloquear los rastreadores de IA?
Tú decides. Bloquear los bots de entrenamiento (como GPTBot o Google-Extended) no afecta a la Búsqueda de Google. Bloquear los bots de búsqueda (como OAI-SearchBot o PerplexityBot) puede impedir que tu web aparezca en esos resultados de búsqueda con IA.
¿Dónde debe estar robots.txt?
En la raíz de cada host y protocolo: https://example.com/robots.txt. Los subdominios como blog.example.com necesitan su propio archivo.