Robots.txt Test Aracı
robots.txt’yi getirip doğrulayın ve herhangi bir URL’nin Googlebot veya yapay zekâ botları için engelli olup olmadığını test edin.
Robots.txt Test Aracı hakkında
robots.txt, sitenin kök dizinindeki (/robots.txt) ve tarayıcılara sitenin hangi bölümlerini ziyaret edebileceklerini söyleyen düz bir metin dosyasıdır. Test ortamından kalmış bir Disallow: / gibi tek bir yanlış satır, arama motorlarının her şeyi taramasını engelleyebilir.
Bu araç canlı dosyayı çeker, her satırı doğrular ve seçtiğiniz tarayıcı için bir yolun izinli olup olmadığını, tam olarak hangi kuralın eşleştiğini göstererek söyler. Google'ın kullandığı resmi robots.txt standardını (RFC 9309) izler: en özel (en uzun) kural kazanır, eşitlikte Allow kazanır. Ayrıca GPTBot, ClaudeBot ve PerplexityBot gibi hangi yapay zekâ tarayıcılarının yola erişebildiğini tek bakışta gösterir.
Sık sorulan sorular
robots.txt bir sayfanın dizine eklenmesini engeller mi?
Hayır. Taramayı engeller, dizine eklemeyi değil. Diğer siteler bağlantı verirse engellenmiş bir URL yine de sonuçlarda görünebilir. Bir sayfayı sonuçlardan uzak tutmak için taramaya izin verin ve noindex meta etiketi ekleyin.
Yapay zekâ tarayıcılarını engellemeli miyim?
Bu sizin seçiminiz. Eğitim botlarını (GPTBot veya Google-Extended gibi) engellemek Google Arama'yı etkilemez. Arama botlarını (OAI-SearchBot veya PerplexityBot gibi) engellemek sitenizin o yapay zekâ arama sonuçlarında görünmesini engelleyebilir.
robots.txt nereye konmalı?
Her ana makine ve protokolün kök dizinine: https://example.com/robots.txt. blog.example.com gibi alt alan adlarının kendi dosyası olmalıdır.