Penguji Robots.txt
Ambil dan validasi robots.txt, lalu uji apakah suatu URL diblokir untuk Googlebot atau bot AI.
Tentang Penguji Robots.txt
robots.txt adalah file teks biasa di root situs (/robots.txt) yang memberi tahu crawler bagian mana yang boleh dikunjungi. Satu baris yang salah – seperti Disallow: / sisa dari situs staging – bisa menghentikan mesin pencari merayapi semuanya.
Penguji ini mengambil file yang aktif, memvalidasi setiap baris, dan memberi tahu apakah suatu path diizinkan untuk crawler yang Anda pilih, sambil menunjukkan aturan mana yang cocok. Penguji mengikuti standar resmi robots.txt (RFC 9309) yang digunakan Google: aturan paling spesifik (terpanjang) menang, dan Allow menang jika seri. Penguji juga menunjukkan sekilas crawler AI mana – seperti GPTBot, ClaudeBot, dan PerplexityBot – yang bisa mengakses path tersebut.
Pertanyaan umum
Apakah robots.txt mencegah halaman diindeks?
Tidak. File ini mencegah perayapan, bukan pengindeksan. URL yang diblokir tetap bisa muncul di hasil jika situs lain menautkannya. Untuk menjauhkan halaman dari hasil penelusuran, izinkan perayapan dan tambahkan meta tag noindex.
Haruskah saya memblokir crawler AI?
Itu pilihan Anda. Memblokir bot pelatihan (seperti GPTBot atau Google-Extended) tidak memengaruhi Google Penelusuran. Memblokir bot pencarian (seperti OAI-SearchBot atau PerplexityBot) bisa membuat situs Anda tidak muncul di hasil pencarian AI tersebut.
Di mana robots.txt harus diletakkan?
Di root setiap host dan protokol: https://example.com/robots.txt. Subdomain seperti blog.example.com memerlukan file sendiri.