Pembuat Robots.txt
Buat file robots.txt dengan sitemap, folder yang diblokir, dan kontrol crawler AI.
Tentang Pembuat Robots.txt
File robots.txt memberi tahu crawler bagian mana dari situs Anda yang boleh dikunjungi. Ini tempat yang tepat untuk menjauhkan bot dari area admin, hasil pencarian internal, keranjang belanja, dan kombinasi filter yang tak ada habisnya – serta mengarahkan semua crawler ke sitemap XML Anda.
Generator ini membuat file yang bersih dan valid dari beberapa pilihan, termasuk preset untuk platform umum dan kontrol terpisah untuk crawler pelatihan AI (yang mengumpulkan konten untuk melatih model) dan crawler pencarian AI (yang mengambil halaman untuk menjawab dan mengutip di hasil pencarian AI). Anda bisa memblokir pelatihan sambil tetap muncul di pencarian AI. Unggah hasilnya ke root domain Anda sebagai /robots.txt.
Pertanyaan umum
Bisakah robots.txt menyembunyikan halaman pribadi?
Tidak. File ini publik dan bot yang sopan hanya memilih untuk mematuhinya. Lindungi konten pribadi dengan kata sandi atau noindex, bukan robots.txt.
Apakah memblokir bot pelatihan AI memengaruhi peringkat Google?
Tidak. Google-Extended hanya mengatur apakah konten dipakai untuk pelatihan Gemini; Googlebot dan Google Penelusuran tidak terpengaruh.
Haruskah saya memblokir CSS dan JavaScript?
Tidak. Google membutuhkannya untuk me-render halaman dengan benar. Memblokirnya dapat merugikan pemahaman atas halaman Anda.