Générateur de robots.txt
Indiquez aux moteurs de recherche et aux autres robots quelles parties de votre site ils peuvent visiter.
Scellé sur cet appareil
Fonctionne dans votre navigateur. Rien n’est envoyé.
Scellé
Règles
Un chemin par ligne, commençant par /. Utilisez * comme joker et $ pour la fin d’une adresse.
Facultatif. Bing et quelques autres robots le respectent, Google l’ignore.
Robots spécifiques
Une adresse complète par ligne, par exemple https://example.com/sitemap.xml.
Votre robots.txt
Points à vérifier
Tester une adresse
Laissez vide pour bloquer tout le site pour ce robot.
Comment ça marche
-
Choisissez la règle générale
Autorisez tout, bloquez tout, ou listez les chemins que les robots doivent éviter. Les modèles prêts à l’emploi vous aident à démarrer.
-
Ajoutez robots d’IA, robots spécifiques et sitemaps
Bloquez les robots d’entraînement d’IA en un clic, ajoutez des règles pour certains robots et indiquez vos sitemaps.
-
Testez et publiez
Testez quelques adresses, puis téléchargez le fichier et placez-le à la racine de votre site : example.com/robots.txt.
Questions fréquentes
Où placer le fichier robots.txt ?
À la racine de votre domaine, pour qu’il soit accessible à l’adresse https://votre-site.fr/robots.txt. Chaque sous-domaine a besoin de son propre fichier. Les robots ne le cherchent nulle part ailleurs.
Le robots.txt masque-t-il une page à Google ?
Non. Il demande aux robots de ne pas visiter une page, mais celle-ci peut quand même apparaître dans les résultats si d’autres sites pointent vers elle. Pour exclure une page de Google, laissez-la explorer et ajoutez une balise meta noindex, ou protégez-la par un mot de passe.
Comment bloquer les robots d’IA comme GPTBot ?
Cochez « Bloquer les robots d’entraînement d’IA ». Le fichier demande alors à GPTBot, ClaudeBot, Google-Extended et aux autres robots d’entraînement de ne pas visiter votre site. Les robots bien élevés le respectent, mais le robots.txt est une demande, pas un verrou.
Que se passe-t-il quand des règles Allow et Disallow se contredisent ?
Google et la plupart des robots modernes appliquent la règle la plus précise, celle dont le chemin correspondant est le plus long. À longueur égale, Allow l’emporte. Le testeur de cette page suit la même logique.
Que signifient * et $ dans un chemin ?
L’astérisque correspond à n’importe quelle suite de caractères, donc /*.pdf correspond à tous les PDF. Le signe dollar marque la fin de l’adresse, donc /*.pdf$ correspond aux adresses qui se terminent exactement par .pdf.
Faut-il ajouter mon sitemap au robots.txt ?
Oui, c’est un moyen simple d’aider tous les moteurs de recherche à le trouver. Indiquez l’adresse complète, https:// compris. Vous pouvez lister plusieurs sitemaps.