Generator robots.txt
Powiedz wyszukiwarkom i innym botom, które części witryny mogą odwiedzać.
Zapieczętowane na tym urządzeniu
Działa w przeglądarce. Nic nie jest wysyłane.
Zapieczętowane
Reguły
Jedna ścieżka w wierszu, zaczynająca się od /. Użyj * jako symbolu wieloznacznego i $ dla końca adresu.
Opcjonalne. Bing i niektóre inne boty je respektują, Google je ignoruje.
Konkretne roboty
Jeden pełny adres w wierszu, na przykład https://example.com/sitemap.xml.
Twój robots.txt
Do sprawdzenia
Przetestuj adres
Zostaw puste, aby zablokować temu robotowi całą witrynę.
Jak to działa
-
Wybierz ogólną regułę
Zezwól na wszystko, zablokuj wszystko albo wypisz ścieżki, które roboty mają pomijać. Gotowe szablony ułatwiają start.
-
Dodaj boty AI, roboty i mapy witryny
Zablokuj roboty trenujące AI jednym kliknięciem, dodaj reguły dla konkretnych botów i wypisz swoje mapy witryny.
-
Przetestuj i opublikuj
Przetestuj kilka adresów, a potem pobierz plik i umieść go w katalogu głównym witryny: example.com/robots.txt.
Najczęściej zadawane pytania
Gdzie umieścić plik robots.txt?
W katalogu głównym domeny, tak aby był dostępny pod adresem https://twoja-strona.pl/robots.txt. Każda subdomena potrzebuje własnego pliku. Roboty nie szukają go nigdzie indziej.
Czy robots.txt ukrywa stronę przed Google?
Nie. Prosi roboty, by nie odwiedzały strony, ale strona może nadal pojawić się w wynikach, jeśli linkują do niej inne witryny. Aby usunąć stronę z Google, pozwól ją indeksować i dodaj meta tag noindex albo zabezpiecz ją hasłem.
Jak zablokować roboty AI, takie jak GPTBot?
Zaznacz „Zablokuj roboty trenujące AI”. Plik poinformuje wtedy GPTBot, ClaudeBot, Google-Extended i inne boty trenujące, by trzymały się z dala od całej witryny. Dobrze działające boty to respektują, ale robots.txt to prośba, a nie zamek.
Co się dzieje, gdy reguły Allow i Disallow są sprzeczne?
Google i większość nowoczesnych robotów stosuje najbardziej szczegółową regułę, czyli tę z najdłuższą pasującą ścieżką. Gdy dwie reguły są równie długie, wygrywa Allow. Tester na tej stronie działa według tej samej logiki.
Co oznaczają * i $ w ścieżce?
Gwiazdka pasuje do dowolnego ciągu znaków, więc /*.pdf pasuje do każdego PDF-a. Znak dolara oznacza koniec adresu, więc /*.pdf$ pasuje do adresów kończących się dokładnie na .pdf.
Czy dodać mapę witryny do robots.txt?
Tak, to prosty sposób, by pomóc każdej wyszukiwarce ją znaleźć. Podaj pełny adres razem z https://. Możesz wymienić kilka map witryny.