Gerador de robots.txt
Diga aos buscadores e a outros bots quais partes do seu site eles podem visitar.
Lacrado neste dispositivo
Funciona no seu navegador. Nada é enviado.
Lacrado
Regras
Um caminho por linha, começando com /. Use * como curinga e $ para o fim de um endereço.
Opcional. O Bing e alguns outros bots o respeitam; o Google o ignora.
Rastreadores específicos
Um endereço completo por linha, por exemplo https://example.com/sitemap.xml.
Seu robots.txt
Pontos a verificar
Testar um endereço
Deixe vazio para bloquear o site inteiro para este rastreador.
Como funciona
-
Escolha a regra geral
Libere tudo, bloqueie tudo ou liste os caminhos que os rastreadores devem pular. Os modelos prontos ajudam a começar.
-
Adicione bots de IA, rastreadores e sitemaps
Bloqueie rastreadores de treinamento de IA com um clique, adicione regras para bots específicos e liste seus sitemaps.
-
Teste e publique
Teste alguns endereços, depois baixe o arquivo e coloque-o na raiz do seu site: example.com/robots.txt.
Perguntas frequentes
Onde coloco o arquivo robots.txt?
Na raiz do seu domínio, para que ele fique acessível em https://seu-site.com/robots.txt. Cada subdomínio precisa do próprio arquivo. Os rastreadores não o procuram em nenhum outro lugar.
O robots.txt esconde uma página do Google?
Não. Ele pede aos rastreadores que não visitem uma página, mas ela ainda pode aparecer nos resultados se outros sites apontarem para ela. Para manter uma página fora do Google, deixe-a ser rastreada e adicione uma meta tag noindex, ou proteja-a com senha.
Como bloquear rastreadores de IA como o GPTBot?
Marque “Bloquear rastreadores de treinamento de IA”. O arquivo passa a pedir ao GPTBot, ClaudeBot, Google-Extended e outros bots de treinamento que fiquem longe do seu site inteiro. Os bots bem-comportados respeitam, mas o robots.txt é um pedido, não uma tranca.
O que acontece quando regras Allow e Disallow entram em conflito?
O Google e a maioria dos rastreadores modernos aplicam a regra mais específica, aquela com o caminho correspondente mais longo. Quando duas regras têm o mesmo tamanho, Allow vence. O testador desta página segue a mesma lógica.
O que significam * e $ em um caminho?
O asterisco corresponde a qualquer sequência de caracteres, então /*.pdf corresponde a todos os PDFs. O cifrão marca o fim do endereço, então /*.pdf$ corresponde aos endereços que terminam exatamente em .pdf.
Devo adicionar meu sitemap ao robots.txt?
Sim, é uma forma simples de ajudar todos os buscadores a encontrá-lo. Use o endereço completo, incluindo https://. Você pode listar vários sitemaps.