robots.txt 生成器
使用便捷的预设，构建带 allow/disallow 规则、crawl-delay 和 sitemap 指令的正确 robots.txt。免费，在您的浏览器中运行。
直接在您的浏览器中构建一个整洁的 robots.txt。不会上传任何内容——所有内容均在本地生成。
构建器
快捷预设
User-agent 分组
站点地图
robots.txt
请将此文件放在网站根目录，以便可通过 https://your-site.com/robots.txt 访问
关于 robots.txt 生成器
这个 robots.txt 生成器可根据用户代理（user-agent）分组构建语法正确的 robots.txt 文件，每个分组都有自己的 Allow 和 Disallow 路径，以及可选的 Crawl-delay。你可以添加任意数量的分组——为所有爬虫设置的通配符 * 分组，加上针对特定爬虫的规则——并在末尾列出一个或多个 Sitemap 指令。
快捷预设涵盖了常见的起点配置：允许全部、禁止全部、合理的 WordPress 配置，以及常见爬虫的屏蔽列表。从预设开始，再根据你的站点结构调整路径。
该文件在你的浏览器中本地生成，绝不会被上传。复制输出内容或下载 robots.txt，然后将其放在站点根目录，这样爬虫就能在 https://your-site.com/robots.txt 找到它——这是搜索引擎唯一会检查的确切位置。
如何使用 robots.txt 生成器
- 可选择从预设开始：允许全部、禁止全部、WordPress，或屏蔽常见爬虫。
- 编辑每个分组的用户代理（例如 * 或 Googlebot），并添加 Disallow 和 Allow 路径。
- 设置可选的 Crawl-delay（以秒为单位），如需要可为其他爬虫添加更多分组。
- 添加你的站点地图链接，以便爬虫能够发现它们。
- 复制结果或下载 robots.txt，并上传到你的站点根目录。
常见问题
必须放在主机的根目录下，例如 https://example.com/robots.txt。爬虫只会请求这个路径——放在子目录中的 robots.txt 会被忽略。
Disallow 会阻止该用户代理分组对匹配路径的抓取；Allow 则可在被禁止的区域中重新允许某个子路径，例如在禁止 /admin/ 的同时允许 /admin/help/。
不一定可靠。它只能阻止抓取，但已被搜索引擎收录的 URL 仍可能在没有摘要的情况下出现。要将页面彻底排除在索引之外，应使用 noindex robots 元标签并允许其被抓取。
不会。一些爬虫会遵守该指令，但 Googlebot 会忽略它——Google 的抓取频率是通过 Search Console 来管理的。不过它对其他爬虫仍然有用。
免费，且文件完全在你的浏览器中生成——你输入的规则永远不会发送到服务器。
需要帮助？
使用此工具时遇到问题？请告诉我们的团队。