Generator robots.txt
Beri tahu mesin pencari dan bot lain bagian mana dari situs Anda yang boleh mereka kunjungi.
Tersegel di perangkat ini
Berjalan di browser Anda. Tidak ada yang diunggah.
Tersegel
Aturan
Satu path per baris, diawali /. Gunakan * sebagai wildcard dan $ untuk akhir alamat.
Opsional. Bing dan beberapa bot lain mematuhinya; Google mengabaikannya.
Crawler tertentu
Satu alamat lengkap per baris, misalnya https://example.com/sitemap.xml.
robots.txt Anda
Yang perlu diperiksa
Uji alamat
Biarkan kosong untuk memblokir seluruh situs bagi crawler ini.
Cara kerjanya
-
Pilih aturan umum
Izinkan semua, blokir semua, atau daftarkan path yang harus dilewati crawler. Preset membantu Anda memulai.
-
Tambahkan bot AI, crawler, dan sitemap
Blokir crawler pelatihan AI dengan sekali klik, tambahkan aturan untuk bot tertentu, dan daftarkan sitemap Anda.
-
Uji dan terbitkan
Uji beberapa alamat, lalu unduh file dan letakkan di root situs Anda: example.com/robots.txt.
Pertanyaan umum
Di mana file robots.txt harus diletakkan?
Di root domain Anda, sehingga bisa diakses di https://situs-anda.com/robots.txt. Setiap subdomain memerlukan filenya sendiri. Crawler tidak mencarinya di tempat lain.
Apakah robots.txt menyembunyikan halaman dari Google?
Tidak. File ini meminta crawler untuk tidak mengunjungi halaman, tetapi halaman tetap bisa muncul di hasil pencarian jika situs lain menautkannya. Agar halaman tidak muncul di Google, biarkan halaman di-crawl dan tambahkan meta tag noindex, atau lindungi dengan password.
Bagaimana cara memblokir crawler AI seperti GPTBot?
Centang “Blokir crawler pelatihan AI”. File akan meminta GPTBot, ClaudeBot, Google-Extended, dan bot pelatihan lainnya menjauhi seluruh situs Anda. Bot yang patuh akan menghormatinya, tetapi robots.txt hanyalah permintaan, bukan kunci.
Apa yang terjadi jika aturan Allow dan Disallow bertentangan?
Google dan sebagian besar crawler modern menerapkan aturan yang paling spesifik, yaitu aturan dengan path cocok terpanjang. Jika dua aturan sama panjangnya, Allow yang menang. Penguji di halaman ini mengikuti logika yang sama.
Apa arti * dan $ dalam path?
Tanda bintang cocok dengan urutan karakter apa pun, jadi /*.pdf cocok dengan semua PDF. Tanda dolar menandai akhir alamat, jadi /*.pdf$ cocok dengan alamat yang berakhiran persis .pdf.
Haruskah saya menambahkan sitemap ke robots.txt?
Ya, ini cara mudah untuk membantu semua mesin pencari menemukannya. Gunakan alamat lengkap, termasuk https://. Anda bisa mencantumkan beberapa sitemap.