Robots.txt oluşturucu
Arama motorlarına ve diğer botlara sitenizin hangi bölümlerini ziyaret edebileceklerini söyleyin.
Bu cihazda mühürlendi
Tarayıcınızda çalışır. Hiçbir şey yüklenmez.
Mühürlü
Kurallar
Her satıra / ile başlayan bir yol. Joker karakter için *, adresin sonu için $ kullanın.
İsteğe bağlı. Bing ve bazı diğer botlar uyar; Google dikkate almaz.
Belirli botlar
Her satıra bir tam adres, örneğin https://example.com/sitemap.xml.
robots.txt dosyanız
Kontrol edilecekler
Bir adresi test edin
Bu bot için sitenin tamamını engellemek üzere boş bırakın.
Nasıl çalışır
-
Genel kuralı seçin
Her şeye izin verin, her şeyi engelleyin ya da botların atlaması gereken yolları listeleyin. Hazır ayarlar başlamanıza yardımcı olur.
-
AI botlarını, diğer botları ve site haritalarını ekleyin
AI eğitim botlarını tek tıkla engelleyin, belirli botlar için kurallar ekleyin ve site haritalarınızı listeleyin.
-
Test edin ve yayımlayın
Birkaç adresi test edin, ardından dosyayı indirip sitenizin kök dizinine koyun: example.com/robots.txt.
Sıkça sorulan sorular
robots.txt dosyasını nereye koymalıyım?
Alan adınızın kök dizinine; böylece https://siteniz.com/robots.txt adresinden erişilebilir. Her alt alan adının kendi dosyası olmalıdır. Botlar onu başka hiçbir yerde aramaz.
robots.txt bir sayfayı Google’dan gizler mi?
Hayır. Botlardan bir sayfayı ziyaret etmemelerini ister, ancak başka siteler o sayfaya bağlantı veriyorsa sayfa yine de sonuçlarda görünebilir. Bir sayfayı Google’ın dışında tutmak için taranmasına izin verip noindex meta etiketi ekleyin ya da şifreyle koruyun.
GPTBot gibi AI botlarını nasıl engellerim?
“AI eğitim botlarını engelle”yi işaretleyin. Dosya böylece GPTBot, ClaudeBot, Google-Extended ve diğer eğitim botlarına sitenizin tamamından uzak durmalarını söyler. Kurallara uyan botlar buna saygı gösterir, ancak robots.txt bir kilit değil, bir ricadır.
Allow ve Disallow kuralları çakışırsa ne olur?
Google ve modern botların çoğu en belirgin kuralı, yani eşleşen yolu en uzun olanı uygular. İki kural eşit uzunluktaysa Allow kazanır. Bu sayfadaki test aracı da aynı mantığı izler.
Bir yoldaki * ve $ ne anlama gelir?
Yıldız işareti herhangi bir karakter dizisiyle eşleşir; böylece /*.pdf her PDF ile eşleşir. Dolar işareti adresin sonunu belirtir; böylece /*.pdf$ tam olarak .pdf ile biten adreslerle eşleşir.
Site haritamı robots.txt dosyasına eklemeli miyim?
Evet, tüm arama motorlarının onu bulmasına yardımcı olmanın basit bir yoludur. https:// dahil tam adresi kullanın. Birden fazla site haritası listeleyebilirsiniz.