Bereitschaft für KI-Suche
Zugriff von KI-Crawlern
Warum es wichtig ist
AI search engines such as ChatGPT search, Claude and Perplexity need their crawlers to be allowed in robots.txt to read and cite your pages. Training crawlers are separate and can be blocked without affecting search.
So beheben Sie es
- Allow AI search crawlers (OAI-SearchBot, Claude-SearchBot, PerplexityBot) in robots.txt if you want to be cited.
- Decide separately whether to allow training crawlers such as GPTBot or Google-Extended.
Prüfen mit
- AI Search Readiness Checker – Check if ChatGPT, Claude, Perplexity and Google AI can access, read and quote your page.
- Robots.txt Generator – Build a robots.txt file with sitemap, blocked folders and AI crawler controls.
Bewertung: Ein bestandener Test erhält sein volles Gewicht, eine Warnung die Hälfte, ein Fehler nichts. So funktioniert der SEO-Score