Generator robots.txt

Powiedz wyszukiwarkom i innym botom, które części witryny mogą odwiedzać.

Zapieczętowane na tym urządzeniu

Działa w przeglądarce. Nic nie jest wysyłane.

Zapieczętowane

Reguły

Wszystkie roboty

Opcjonalne. Bing i niektóre inne boty je respektują, Google je ignoruje.

Boty AI

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot i inne, które zbierają treści do trenowania modeli AI. Nie wpływa na wyszukiwarkę Google.

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot i inne. Twoje strony mogą wtedy przestać pojawiać się w odpowiedziach AI.

Konkretne roboty

    Jeden pełny adres w wierszu, na przykład https://example.com/sitemap.xml.

    Twój robots.txt

    
                    

    Do sprawdzenia

      Przetestuj adres

      Jak to działa

      1. Wybierz ogólną regułę

        Zezwól na wszystko, zablokuj wszystko albo wypisz ścieżki, które roboty mają pomijać. Gotowe szablony ułatwiają start.

      2. Dodaj boty AI, roboty i mapy witryny

        Zablokuj roboty trenujące AI jednym kliknięciem, dodaj reguły dla konkretnych botów i wypisz swoje mapy witryny.

      3. Przetestuj i opublikuj

        Przetestuj kilka adresów, a potem pobierz plik i umieść go w katalogu głównym witryny: example.com/robots.txt.

      Najczęściej zadawane pytania

      Gdzie umieścić plik robots.txt?

      W katalogu głównym domeny, tak aby był dostępny pod adresem https://twoja-strona.pl/robots.txt. Każda subdomena potrzebuje własnego pliku. Roboty nie szukają go nigdzie indziej.

      Czy robots.txt ukrywa stronę przed Google?

      Nie. Prosi roboty, by nie odwiedzały strony, ale strona może nadal pojawić się w wynikach, jeśli linkują do niej inne witryny. Aby usunąć stronę z Google, pozwól ją indeksować i dodaj meta tag noindex albo zabezpiecz ją hasłem.

      Jak zablokować roboty AI, takie jak GPTBot?

      Zaznacz „Zablokuj roboty trenujące AI”. Plik poinformuje wtedy GPTBot, ClaudeBot, Google-Extended i inne boty trenujące, by trzymały się z dala od całej witryny. Dobrze działające boty to respektują, ale robots.txt to prośba, a nie zamek.

      Co się dzieje, gdy reguły Allow i Disallow są sprzeczne?

      Google i większość nowoczesnych robotów stosuje najbardziej szczegółową regułę, czyli tę z najdłuższą pasującą ścieżką. Gdy dwie reguły są równie długie, wygrywa Allow. Tester na tej stronie działa według tej samej logiki.

      Co oznaczają * i $ w ścieżce?

      Gwiazdka pasuje do dowolnego ciągu znaków, więc /*.pdf pasuje do każdego PDF-a. Znak dolara oznacza koniec adresu, więc /*.pdf$ pasuje do adresów kończących się dokładnie na .pdf.

      Czy dodać mapę witryny do robots.txt?

      Tak, to prosty sposób, by pomóc każdej wyszukiwarce ją znaleźć. Podaj pełny adres razem z https://. Możesz wymienić kilka map witryny.

      Zainstaluj One For All na swoim komputerze

      One For All otworzy się wtedy we własnym oknie, jak aplikacja, prosto z pulpitu lub ekranu głównego. Nie musisz niczego pobierać ze sklepu z aplikacjami, a twoje pliki nadal zostają na twoim urządzeniu.

      1. Kliknij ikonę instalacji po prawej stronie paska adresu albo otwórz menu przeglądarki (⋮).
      2. Wybierz „Zainstaluj One For All” lub „Zainstaluj stronę jako aplikację”: skrót pojawi się na pulpicie i wśród twoich aplikacji.

      Pobrać silnik tego narzędzia?

      To narzędzie działa w całości w twojej przeglądarce. W tym celu musi jednorazowo pobrać z One For All poniższe elementy. Potem zostają zapisane na tym urządzeniu, więc przy kolejnym użyciu narzędzie uruchomi się od razu.

      Twoje pliki nigdy nie są nigdzie wysyłane.