🧰

robots.txt 生成器

在线 robots.txt 文件生成工具，支持配置爬虫规则和常用模板

网站配置

规则配置

1
2

常用模板

robots.txt

3 行
User-agent: *
Disallow: /admin/
Disallow: /private/

语法说明

User-agent指定爬虫类型，使用 * 匹配所有
Allow允许访问的路径
Disallow禁止访问的路径
Sitemap网站地图位置

放置位置

将生成的 robots.txt 文件上传到网站根目录，例如：

https://example.com/robots.txt

使用说明

  1. 在输入框中粘贴或输入内容
  2. 点击对应的功能按钮进行处理
  3. 在输出区域查看处理结果
  4. 可使用复制按钮将结果复制到剪贴板

常见问题

robots.txt 应该放在哪里？
robots.txt 文件必须放在网站的根目录下，例如：https://example.com/robots.txt
如何阻止爬虫访问特定页面？
使用 Disallow 指令，例如：Disallow: /admin/ 将阻止爬虫访问所有以 /admin/ 开头的 URL。
如何只允许特定爬虫访问？
先使用 User-agent 指定爬虫名称，然后配置该爬虫的规则。例如先指定 Googlebot，再配置其规则。
Sitemap 是什么？
Sitemap 是网站地图，帮助搜索引擎更好地了解网站结构。建议添加以加快搜索引擎收录。

相关工具