Generador de robots.txt
Crea un archivo robots.txt con sitemap, carpetas bloqueadas y control de rastreadores de IA.
Acerca del Generador de robots.txt
Un archivo robots.txt indica a los rastreadores qué partes de tu sitio pueden visitar. Es el sitio adecuado para mantener a los bots fuera de zonas de administración, resultados de búsqueda interna, carritos y combinaciones infinitas de filtros, y para señalar a todos los rastreadores tu sitemap XML.
Este generador crea un archivo limpio y válido a partir de unas pocas opciones, con ajustes predefinidos para plataformas habituales y controles separados para los rastreadores de entrenamiento de IA (que recopilan contenido para entrenar modelos) y los rastreadores de búsqueda con IA (que obtienen páginas para responder y citarlas en resultados de IA). Puedes bloquear el entrenamiento y seguir apareciendo en la búsqueda con IA. Sube el resultado a la raíz de tu dominio como /robots.txt.
Preguntas frecuentes
¿Puede robots.txt ocultar páginas privadas?
No. El archivo es público y los bots respetuosos simplemente deciden obedecerlo. Protege el contenido privado con contraseñas o noindex, no con robots.txt.
¿Bloquear los bots de entrenamiento de IA afecta al posicionamiento en Google?
No. Google-Extended solo controla si el contenido se usa para entrenar Gemini; Googlebot y la Búsqueda de Google no se ven afectados.
¿Debo bloquear CSS y JavaScript?
No. Google los necesita para renderizar bien las páginas. Bloquearlos puede perjudicar cómo se entienden tus páginas.