Robots.txt generator
Vertel zoekmachines en andere bots welke delen van je site ze mogen bezoeken.
Verzegeld op dit apparaat
Werkt in je browser. Er wordt niets geüpload.
Verzegeld
Regels
Eén pad per regel, beginnend met /. Gebruik * als jokerteken en $ voor het einde van een adres.
Optioneel. Bing en sommige andere bots houden zich eraan, Google negeert het.
Specifieke crawlers
Eén volledig adres per regel, bijvoorbeeld https://example.com/sitemap.xml.
Je robots.txt
Om te controleren
Een adres testen
Laat leeg om de hele site voor deze crawler te blokkeren.
Zo werkt het
-
Kies de algemene regel
Sta alles toe, blokkeer alles, of geef de paden op die crawlers moeten overslaan. Kant-en-klare instellingen helpen je op weg.
-
Voeg AI-bots, crawlers en sitemaps toe
Blokkeer AI-trainingscrawlers met één klik, voeg regels toe voor specifieke bots en vermeld je sitemaps.
-
Test en publiceer
Test een paar adressen, download dan het bestand en zet het in de hoofdmap van je site: example.com/robots.txt.
Veelgestelde vragen
Waar zet ik het robots.txt-bestand?
In de hoofdmap van je domein, zodat het bereikbaar is op https://jouw-site.nl/robots.txt. Elk subdomein heeft een eigen bestand nodig. Crawlers zoeken nergens anders.
Verbergt robots.txt een pagina voor Google?
Nee. Het vraagt crawlers een pagina niet te bezoeken, maar de pagina kan nog steeds in de resultaten verschijnen als andere sites ernaar linken. Wil je een pagina uit Google houden, laat hem dan crawlen en voeg een noindex-metatag toe, of beveilig hem met een wachtwoord.
Hoe blokkeer ik AI-crawlers zoals GPTBot?
Vink ‘AI-trainingscrawlers blokkeren’ aan. Het bestand vraagt GPTBot, ClaudeBot, Google-Extended en andere trainingsbots dan om weg te blijven van je hele site. Bots die zich netjes gedragen respecteren dat, maar robots.txt is een verzoek, geen slot.
Wat gebeurt er als Allow- en Disallow-regels elkaar tegenspreken?
Google en de meeste moderne crawlers passen de meest specifieke regel toe, die met het langste overeenkomende pad. Zijn twee regels even lang, dan wint Allow. De tester op deze pagina volgt dezelfde logica.
Wat betekenen * en $ in een pad?
Het sterretje staat voor elke reeks tekens, dus /*.pdf past op elke PDF. Het dollarteken markeert het einde van het adres, dus /*.pdf$ past op adressen die precies op .pdf eindigen.
Moet ik mijn sitemap in robots.txt zetten?
Ja, dat is een eenvoudige manier om elke zoekmachine te helpen hem te vinden. Gebruik het volledige adres, inclusief https://. Je kunt meerdere sitemaps vermelden.