Robots.txt-generator
Tala om för sökmotorer och andra botar vilka delar av din webbplats de får besöka.
Förseglat på den här enheten
Körs i din webbläsare. Inget laddas upp.
Förseglat
Regler
En sökväg per rad, som börjar med /. Använd * som jokertecken och $ för slutet av en adress.
Valfritt. Bing och vissa andra botar följer det, Google ignorerar det.
Specifika sökrobotar
En fullständig adress per rad, till exempel https://example.com/sitemap.xml.
Din robots.txt
Att kontrollera
Testa en adress
Lämna tomt för att blockera hela webbplatsen för den här sökroboten.
Så fungerar det
-
Välj den allmänna regeln
Tillåt allt, blockera allt eller lista de sökvägar som sökrobotarna ska hoppa över. Förinställningarna hjälper dig att komma igång.
-
Lägg till AI-botar, sökrobotar och webbplatskartor
Blockera AI-träningsrobotar med ett klick, lägg till regler för specifika botar och lista dina webbplatskartor.
-
Testa och publicera
Testa några adresser, ladda sedan ner filen och lägg den i roten på din webbplats: example.com/robots.txt.
Vanliga frågor
Var ska jag lägga robots.txt-filen?
I roten av din domän, så att den nås på https://din-webbplats.se/robots.txt. Varje underdomän behöver en egen fil. Sökrobotar letar inte efter den någon annanstans.
Döljer robots.txt en sida för Google?
Nej. Filen ber sökrobotar att inte besöka en sida, men sidan kan ändå synas i resultaten om andra webbplatser länkar till den. För att hålla en sida borta från Google låter du den genomsökas och lägger till en noindex-metatagg, eller skyddar den med ett lösenord.
Hur blockerar jag AI-robotar som GPTBot?
Kryssa i ”Blockera AI-träningsrobotar”. Filen ber då GPTBot, ClaudeBot, Google-Extended och andra träningsbotar att hålla sig borta från hela din webbplats. Väluppfostrade botar respekterar det, men robots.txt är en begäran, inte ett lås.
Vad händer när Allow- och Disallow-regler krockar?
Google och de flesta moderna sökrobotar tillämpar den mest specifika regeln, den med längst matchande sökväg. När två regler är lika långa vinner Allow. Testaren på den här sidan följer samma logik.
Vad betyder * och $ i en sökväg?
Asterisken matchar vilken teckenföljd som helst, så /*.pdf matchar alla PDF-filer. Dollartecknet markerar slutet av adressen, så /*.pdf$ matchar adresser som slutar exakt med .pdf.
Ska jag lägga till min webbplatskarta i robots.txt?
Ja, det är ett enkelt sätt att hjälpa alla sökmotorer att hitta den. Använd den fullständiga adressen, inklusive https://. Du kan lista flera webbplatskartor.