robots.txt-Tester
Rufen Sie die robots.txt ab, validieren Sie sie und testen Sie, ob eine URL für Googlebot oder KI-Bots gesperrt ist.
Über das Tool robots.txt-Tester
robots.txt ist eine Textdatei im Stammverzeichnis (/robots.txt), die Crawlern sagt, welche Bereiche sie besuchen dürfen. Eine einzige falsche Zeile – etwa ein vergessenes Disallow: / aus der Staging-Umgebung – kann Suchmaschinen vom gesamten Crawlen abhalten.
Dieser Tester ruft die Live-Datei ab, validiert jede Zeile und sagt Ihnen, ob ein Pfad für den gewählten Crawler erlaubt ist – mit der genau passenden Regel. Er folgt dem offiziellen robots.txt-Standard (RFC 9309), den Google nutzt: Die spezifischste (längste) Regel gewinnt, bei Gleichstand gewinnt Allow. Außerdem sehen Sie auf einen Blick, welche KI-Crawler – etwa GPTBot, ClaudeBot und PerplexityBot – auf den Pfad zugreifen dürfen.
Häufige Fragen
Verhindert robots.txt die Indexierung einer Seite?
Nein. Es verhindert das Crawlen, nicht die Indexierung. Eine gesperrte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Websites darauf verlinken. Um eine Seite aus den Ergebnissen fernzuhalten, erlauben Sie das Crawlen und setzen ein noindex-Meta-Tag.
Sollte ich KI-Crawler blockieren?
Das entscheiden Sie. Das Blockieren von Trainings-Bots (wie GPTBot oder Google-Extended) beeinflusst die Google-Suche nicht. Das Blockieren von Such-Bots (wie OAI-SearchBot oder PerplexityBot) kann verhindern, dass Ihre Website in diesen KI-Suchergebnissen erscheint.
Wo muss die robots.txt liegen?
Im Stammverzeichnis jedes Hosts und Protokolls: https://example.com/robots.txt. Subdomains wie blog.example.com brauchen eine eigene Datei.