robots.txt

Warum es wichtig ist

robots.txt controls which parts of a site crawlers may visit. A wrong Disallow rule can block important pages from Google; a missing file is fine but wastes the chance to list your sitemap.

So beheben Sie es

1. Make sure no Disallow rule blocks pages that should rank.
2. Add a “Sitemap:” line pointing to your XML sitemap.
3. Test changes before publishing them.

Prüfen mit

• Robots.txt Tester – Fetch and validate robots.txt, and test whether any URL is blocked for Googlebot or AI bots.
• Robots.txt Generator – Build a robots.txt file with sitemap, blocked folders and AI crawler controls.

Bewertung: Ein bestandener Test erhält sein volles Gewicht, eine Warnung die Hälfte, ein Fehler nichts. So funktioniert der SEO-Score

Seite testen Alle Prüfungen