Robots.txt: der komplette Leitfaden (mit Beispielen und KI-Crawlern)

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Crawlern mitteilt, welche Bereiche sie besuchen dürfen. Sie ist simpel, mächtig und leicht falsch zu konfigurieren – eine einzige Zeile kann Suchmaschinen vom Crawlen Ihrer gesamten Website abhalten.

Dieser Leitfaden erklärt, wie sie funktioniert, wie Sie sie sicher schreiben und wie Sie mit der wachsenden Zahl an KI-Crawlern umgehen.

Wo die robots.txt liegt

Die Datei muss im Stammverzeichnis jedes Hosts liegen:

https://example.com/robots.txt

Sie gilt nur für genau diesen Host und dieses Protokoll. blog.example.com braucht eine eigene Datei, ebenso http://, falls darüber Inhalte ausgeliefert werden (es sollte ohnehin auf HTTPS weiterleiten).

Gibt es keine robots.txt (der Server liefert 404), gehen Crawler davon aus, dass sie alles crawlen dürfen.

Die Grundsyntax

User-agent: *
Disallow: /admin/
Disallow: /cart
Allow: /admin/public-help/

Sitemap: https://example.com/sitemap.xml

• User-agent benennt den Crawler, für den eine Regelgruppe gilt. * steht für alle Crawler.
• Disallow nennt ein Pfadpräfix, das der Crawler nicht abrufen soll.
• Allow schafft eine Ausnahme innerhalb eines gesperrten Bereichs.
• Sitemap gibt die vollständige URL einer XML-Sitemap an. Die Zeile kann überall in der Datei stehen und gilt für alle Crawler.

Zeilen, die mit # beginnen, sind Kommentare.

Platzhalter

Google, Bing und die meisten großen Crawler unterstützen zwei Sonderzeichen:

• * steht für eine beliebige Zeichenfolge: Disallow: /*?sort= sperrt jede URL, die ?sort= enthält
• $ markiert das Ende der URL: Disallow: /*.pdf$ sperrt URLs, die auf .pdf enden

Wie Regeln abgeglichen werden

Die robots.txt ist inzwischen ein offizieller Internetstandard (RFC 9309, veröffentlicht 2022), der darauf beruht, wie Google sie seit Langem behandelt:

1. Ein Crawler nutzt die Gruppe, deren User-agent am genauesten auf ihn passt. Googlebot folgt einer Gruppe User-agent: Googlebot, falls vorhanden, und ignoriert dann die *-Gruppe.
2. Innerhalb dieser Gruppe gewinnt die spezifischste (längste) passende Regel.
3. Sind eine Allow- und eine Disallow-Regel gleich spezifisch, gewinnt Allow.

Beispiel:

User-agent: *
Disallow: /shop/
Allow: /shop/sale/

/shop/sale/shoes ist erlaubt (die Allow-Regel ist länger), /shop/new/shoes dagegen gesperrt.

Was die robots.txt kann – und was nicht

Sie steuert das Crawling, nicht die Indexierung. Eine gesperrte URL kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken – meist ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, erlauben Sie das Crawling und verwenden ein Robots-Meta-Tag noindex oder einen X-Robots-Tag-Header.

Sie ist öffentlich. Jeder kann Ihre robots.txt lesen. Nutzen Sie sie nie, um private Bereiche zu verstecken – Sie machen damit praktisch Werbung für sie. Schützen Sie private Inhalte mit Authentifizierung.

Sie ist freiwillig. Seriöse Crawler halten sich daran, bösartige Bots ignorieren sie.

Sichere Beispiele

Alles erlauben (und auf die Sitemap verweisen)

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/wp-sitemap.xml

Onlineshop

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /*?*sort=
Disallow: /*?*filter=

Sitemap: https://example.com/sitemap.xml

Das Sperren von Sortier- und Filterparametern verhindert, dass Crawler Zeit mit Tausenden nahezu doppelter URLs verschwenden.

Staging-Website (alles sperren)

User-agent: *
Disallow: /

Nutzen Sie das nur auf Staging- oder Entwicklungsumgebungen – besser noch, schützen Sie diese mit einem Passwort. Die Regel beim Livegang zu vergessen ist eine der häufigsten Ursachen dafür, dass eine Website aus der Suche verschwindet.

Umgang mit KI-Crawlern

KI-Unternehmen betreiben verschiedene Arten von Crawlern, und es lohnt sich, sie unterschiedlich zu behandeln:

Google-Extended ist ein Steuerungs-Token und kein eigener Crawler: Eine Sperre verhindert die Nutzung von Inhalten für das Training der Gemini-Modelle, beeinflusst aber weder die Google-Suche noch AI Overviews, die auf Googlebot beruhen.

Eine verbreitete Mittelweg-Konfiguration sperrt das Training und bleibt in der KI-Suche sichtbar:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Prüfen Sie regelmäßig die Dokumentation der Anbieter, denn Crawler-Namen und -Zwecke ändern sich.

Häufige Fehler

1. Disallow: / aus dem Staging stehen lassen. Prüfen Sie die robots.txt nach jedem Livegang oder Umzug.
2. CSS und JavaScript sperren. Google braucht sie zum Rendern; gesperrt können Seiten für Googlebot kaputt aussehen.
3. Die robots.txt nutzen, um Seiten aus Google zu entfernen. Bei gesperrten Seiten kann das noindex nicht gesehen werden. Nutzen Sie stattdessen noindex.
4. Seiten mit Canonical oder Weiterleitung sperren, die Suchmaschinen sehen sollen.
5. Tippfehler und falsche Groß-/Kleinschreibung. Pfade unterscheiden Groß- und Kleinschreibung: /Admin/ und /admin/ sind verschieden.
6. Eine riesige Datei. Google liest nur die ersten 500 KiB.
7. Eine fehlerhaft ausgelieferte robots.txt. Liefert die robots.txt einen 5xx-Fehler, stellt Google das Crawling der Website eventuell vorübergehend ein.

Änderungen testen

Bevor Sie eine neue robots.txt veröffentlichen, testen Sie Ihre wichtigsten URLs dagegen – Startseite, zentrale Kategorie- und Produktseiten sowie Ihre CSS- und JavaScript-Dateien. Der robots.txt-Bericht der Search Console zeigt die zuletzt von Google abgerufene Version und gefundene Probleme.

robots.txt vs. noindex vs. Passwortschutz

Diese drei Werkzeuge lösen unterschiedliche Probleme, und Verwechslungen sind eine häufige Quelle von Indexierungsproblemen:

Parameter und Facettennavigation

Onlineshops und Anzeigenportale erzeugen oft URLs wie diese für jede Filterkombination:

/shoes?colour=red
/shoes?colour=red&size=8
/shoes?colour=red&size=8&sort=price

Bieten diese Seiten Suchenden keinen eigenen Mehrwert, sperren Sie die Parameter, die endlose Kombinationen erzeugen, etwa die Sortierung:

User-agent: *
Disallow: /*?*sort=
Disallow: /*?*sessionid=

Achten Sie darauf, keine Filterseiten zu sperren, mit denen Sie ranken wollen – eine Seite „rote Laufschuhe“ mit echter Suchnachfrage sollte etwa eine crawlbare, indexierbare URL mit eigenem Inhalt sein.

Die robots.txt beliebiger Websites lesen

Ein Blick in die robots.txt von Wettbewerbern kann aufschlussreich sein. Sie sehen, welche Bereiche dort vom Crawling ausgeschlossen sind, wo die Sitemaps liegen und wie mit KI-Crawlern umgegangen wird. Da die Datei öffentlich ist, ist sie auch das Erste, was Sie prüfen sollten, wenn eine von Ihnen betreute Website plötzlich an Sichtbarkeit verliert.

Testen und überwachen

Änderungen an der robots.txt sind folgenreich – behandeln Sie sie wie Code:

1. Sichern Sie vor dem Bearbeiten eine Kopie der vorherigen Version
2. Testen Sie wichtige URLs – Startseite, zentrale Kategorien und Produkte, CSS- und JavaScript-Dateien – vor der Veröffentlichung gegen die neuen Regeln
3. Prüfen Sie nach der Veröffentlichung, dass die Datei den Status 200 und reinen Text liefert, keine HTML-Fehlerseite
4. Beobachten Sie in den folgenden Tagen den robots.txt-Bericht und den Bericht zur Seitenindexierung in der Search Console

Manche Content-Management-Systeme und SEO-Plugins erzeugen die robots.txt dynamisch. Laden Sie eine physische robots.txt-Datei hoch, überschreibt diese in der Regel die virtuelle – vergewissern Sie sich, dass Sie die tatsächlich ausgelieferte Version bearbeiten.

Das Wichtigste in Kürze

• Die robots.txt steuert das Crawling, nicht die Indexierung – nutzen Sie noindex, um Seiten aus den Suchergebnissen herauszuhalten.
• Die spezifischste passende Regel gewinnt; bei Gleichstand schlägt Allow Disallow.
• Sperren Sie niemals CSS- oder JavaScript-Dateien, die Seiten zum Rendern brauchen.
• Unterscheiden Sie KI-Trainings-Crawler von KI-Such-Crawlern; eine Trainingssperre beeinflusst die Suche nicht.
• Prüfen Sie die robots.txt nach Livegängen und Umzügen immer auf übrig gebliebene Disallow: /-Regeln.
• Testen Sie wichtige URLs vor jeder Veröffentlichung gegen die Änderung.

Häufige Fragen

Brauche ich eine robots.txt?

Nicht zwingend. Ohne sie greifen Crawler auf alles zu. Doch die robots.txt ist der Standardort, um Ihre Sitemap anzugeben und Crawler von wertarmen Bereichen fernzuhalten – die meisten Websites sollten eine haben.

Unterstützt Google crawl-delay?

Nein. Googlebot ignoriert Crawl-delay. Bing und einige andere Crawler halten sich daran.

Wie lange dauert es, bis Änderungen greifen?

Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen, Änderungen können also einen Tag brauchen.

Kann ich eine bestimmte Seite sperren?

Ja – Disallow: /private-page –, aber denken Sie daran, dass dies das Crawling sperrt, nicht die Indexierung. Nutzen Sie noindex, wenn die Seite aus den Suchergebnissen verschwinden soll.