Robots.txt 生成器
告诉搜索引擎和其他机器人，它们可以访问你网站的哪些部分。
已封存在本设备上
在浏览器中运行，不上传任何内容。
已封存
规则
每行一个路径，以 / 开头。用 * 作通配符，用 $ 表示网址结尾。
可选。Bing 和其他一些机器人会遵守，Google 会忽略。
指定爬虫
每行一个完整地址，例如 https://example.com/sitemap.xml。
你的 robots.txt
需要检查的地方
测试网址
留空则对这个爬虫屏蔽整个网站。
使用方法
-
选择总体规则
全部允许、全部屏蔽，或列出爬虫应跳过的路径。预设可以帮你快速开始。
-
添加 AI 机器人、爬虫和站点地图
一键屏蔽 AI 训练爬虫，为指定机器人添加规则，并列出你的站点地图。
-
测试并发布
测试几个网址，然后下载文件，放到网站根目录：example.com/robots.txt。
常见问题
robots.txt 文件应该放在哪里？
放在域名的根目录下，确保可以通过 https://your-site.com/robots.txt 访问。每个子域名都需要自己的文件。爬虫不会去其他位置查找它。
robots.txt 能让页面不出现在 Google 中吗？
不能。它只是要求爬虫不要访问某个页面，但如果其他网站链接到这个页面，它仍可能出现在搜索结果中。要让页面不被 Google 收录，应允许抓取并添加 noindex meta 标签，或用密码保护它。
怎样屏蔽 GPTBot 这类 AI 爬虫？
勾选“屏蔽 AI 训练爬虫”。文件就会要求 GPTBot、ClaudeBot、Google-Extended 等训练机器人远离你的整个网站。守规矩的机器人会遵守，但 robots.txt 只是一种请求，而不是一把锁。
Allow 和 Disallow 规则冲突时会怎样？
Google 和大多数现代爬虫会采用最具体的规则，也就是匹配路径最长的那条。两条规则一样长时，Allow 优先。本页的测试工具也遵循同样的逻辑。
路径中的 * 和 $ 是什么意思？
星号匹配任意字符序列，所以 /*.pdf 匹配所有 PDF。美元符号表示网址结尾，所以 /*.pdf$ 只匹配恰好以 .pdf 结尾的网址。
应该把站点地图加到 robots.txt 里吗？
应该，这是帮助所有搜索引擎找到它的简单方法。请使用包含 https:// 的完整地址。可以列出多个站点地图。