Robots.txt Oluşturucu
Site haritası, engellenen klasörler ve yapay zekâ tarayıcı denetimleriyle bir robots.txt dosyası oluşturun.
Robots.txt Oluşturucu hakkında
robots.txt dosyası, tarayıcılara sitenizin hangi bölümlerini ziyaret edebileceklerini söyler. Botları yönetim alanlarından, site içi arama sonuçlarından, sepetlerden ve sonsuz filtre kombinasyonlarından uzak tutmak ve tüm tarayıcılara XML site haritanızı göstermek için doğru yerdir.
Bu oluşturucu birkaç seçimden temiz ve geçerli bir dosya hazırlar; yaygın platformlar için hazır ayarlar ve yapay zekâ eğitim tarayıcıları (model eğitmek için içerik toplayanlar) ile yapay zekâ arama tarayıcıları (yapay zekâ arama sonuçlarında yanıt vermek ve alıntı yapmak için sayfa çekenler) için ayrı kontroller sunar. Eğitimi engelleyip yapay zekâ aramasında görünmeye devam edebilirsiniz. Sonucu alan adınızın köküne /robots.txt olarak yükleyin.
Sık sorulan sorular
robots.txt gizli sayfaları saklayabilir mi?
Hayır. Dosya herkese açıktır ve iyi davranan botlar yalnızca ona uymayı seçer. Gizli içeriği robots.txt ile değil, parola veya noindex ile koruyun.
Yapay zekâ eğitim botlarını engellemek Google sıralamasını etkiler mi?
Hayır. Google-Extended yalnızca içeriğin Gemini eğitimi için kullanılıp kullanılmayacağını kontrol eder; Googlebot ve Google Arama etkilenmez.
CSS ve JavaScript'i engellemeli miyim?
Hayır. Google sayfaları doğru işlemek için onlara ihtiyaç duyar. Engellemek sayfalarınızın nasıl anlaşıldığına zarar verebilir.