Robots.txt-Generator
Legen Sie fest, welche Bereiche Ihrer Website Suchmaschinen und andere Bots besuchen dürfen.
Auf diesem Gerät versiegelt
Läuft in Ihrem Browser. Nichts wird hochgeladen.
Versiegelt
Regeln
Ein Pfad pro Zeile, beginnend mit /. Verwenden Sie * als Platzhalter und $ für das Ende einer Adresse.
Optional. Bing und einige andere Bots beachten sie, Google ignoriert sie.
Bestimmte Crawler
Eine vollständige Adresse pro Zeile, zum Beispiel https://example.com/sitemap.xml.
Ihre robots.txt
Bitte prüfen
Adresse testen
Leer lassen, um die ganze Website für diesen Crawler zu blockieren.
So funktioniert es
-
Grundregel wählen
Alles erlauben, alles blockieren oder die Pfade auflisten, die Crawler auslassen sollen. Vorlagen erleichtern den Einstieg.
-
KI-Bots, Crawler und Sitemaps ergänzen
Blockieren Sie KI-Trainings-Crawler mit einem Klick, fügen Sie Regeln für bestimmte Bots hinzu und geben Sie Ihre Sitemaps an.
-
Testen und veröffentlichen
Testen Sie ein paar Adressen, laden Sie dann die Datei herunter und legen Sie sie im Stammverzeichnis Ihrer Website ab: example.com/robots.txt.
Häufige Fragen
Wo lege ich die robots.txt ab?
Im Stammverzeichnis Ihrer Domain, sodass sie unter https://ihre-website.de/robots.txt erreichbar ist. Jede Subdomain braucht eine eigene Datei. Crawler suchen sie nirgendwo sonst.
Versteckt robots.txt eine Seite vor Google?
Nein. Sie bittet Crawler, eine Seite nicht zu besuchen, aber die Seite kann trotzdem in den Ergebnissen erscheinen, wenn andere Websites darauf verlinken. Um eine Seite aus Google herauszuhalten, lassen Sie sie crawlen und fügen Sie einen noindex-Meta-Tag hinzu oder schützen Sie sie mit einem Passwort.
Wie blockiere ich KI-Crawler wie GPTBot?
Aktivieren Sie „KI-Trainings-Crawler blockieren“. Die Datei weist dann GPTBot, ClaudeBot, Google-Extended und andere Trainings-Bots an, Ihre gesamte Website zu meiden. Seriöse Bots halten sich daran, aber robots.txt ist eine Bitte, kein Schloss.
Was passiert, wenn sich Allow- und Disallow-Regeln widersprechen?
Google und die meisten modernen Crawler wenden die spezifischste Regel an, also die mit dem längsten passenden Pfad. Sind zwei Regeln gleich lang, gewinnt Allow. Der Tester auf dieser Seite folgt derselben Logik.
Was bedeuten * und $ in einem Pfad?
Das Sternchen steht für eine beliebige Zeichenfolge, /*.pdf trifft also auf jedes PDF zu. Das Dollarzeichen markiert das Ende der Adresse, /*.pdf$ trifft also nur auf Adressen zu, die genau auf .pdf enden.
Sollte ich meine Sitemap in die robots.txt eintragen?
Ja, so finden alle Suchmaschinen sie ganz einfach. Verwenden Sie die vollständige Adresse einschließlich https://. Sie können mehrere Sitemaps angeben.