Generador de robots.txt
Indica a los buscadores y a otros bots qué partes de tu sitio pueden visitar.
Sellado en este dispositivo
Funciona en tu navegador. No se sube nada.
Sellado
Reglas
Una ruta por línea, empezando por /. Usa * como comodín y $ para el final de una dirección.
Opcional. Bing y algunos otros bots lo respetan; Google lo ignora.
Rastreadores concretos
Una dirección completa por línea, por ejemplo https://example.com/sitemap.xml.
Tu robots.txt
Cosas que revisar
Probar una dirección
Déjalo vacío para bloquear todo el sitio a este rastreador.
Cómo funciona
-
Elige la regla general
Permite todo, bloquea todo o enumera las rutas que los rastreadores deben evitar. Las plantillas te ayudan a empezar.
-
Añade bots de IA, rastreadores y sitemaps
Bloquea los rastreadores que entrenan IA con un clic, añade reglas para bots concretos y enumera tus sitemaps.
-
Prueba y publica
Prueba algunas direcciones, descarga el archivo y colócalo en la raíz de tu sitio: example.com/robots.txt.
Preguntas frecuentes
¿Dónde pongo el archivo robots.txt?
En la raíz de tu dominio, para que esté disponible en https://tu-sitio.com/robots.txt. Cada subdominio necesita su propio archivo. Los rastreadores no lo buscan en ningún otro sitio.
¿El robots.txt oculta una página a Google?
No. Pide a los rastreadores que no visiten una página, pero esta puede seguir apareciendo en los resultados si otros sitios enlazan a ella. Para que una página no salga en Google, deja que se rastree y añade una meta etiqueta noindex, o protégela con contraseña.
¿Cómo bloqueo los rastreadores de IA como GPTBot?
Marca “Bloquear los rastreadores que entrenan IA”. El archivo indicará entonces a GPTBot, ClaudeBot, Google-Extended y otros bots de entrenamiento que no entren en todo tu sitio. Los bots bien programados lo respetan, pero el robots.txt es una petición, no un candado.
¿Qué pasa cuando las reglas Allow y Disallow se contradicen?
Google y la mayoría de los rastreadores modernos aplican la regla más específica, la de la ruta coincidente más larga. Si dos reglas tienen la misma longitud, gana Allow. El probador de esta página sigue la misma lógica.
¿Qué significan * y $ en una ruta?
El asterisco equivale a cualquier secuencia de caracteres, así que /*.pdf coincide con todos los PDF. El signo de dólar marca el final de la dirección, así que /*.pdf$ coincide con las direcciones que terminan exactamente en .pdf.
¿Debo añadir mi sitemap al robots.txt?
Sí, es una forma sencilla de ayudar a todos los buscadores a encontrarlo. Usa la dirección completa, con https://. Puedes indicar varios sitemaps.