🤖
Robots.txt 生成器
通过表单生成 robots.txt 内容，设置 User-agent、Allow、Disallow 和 Sitemap。适合为网站配置搜索引擎抓取规则，并在上线前检查是否误封重要页面。
如何使用 Robots.txt 生成器
快速入门指南
1
选择目标用户代理——可选择所有爬虫或指定搜索引擎（如 Googlebot、Bingbot）
2
添加需要禁止爬取的路径——例如 /admin/、/api/、/private/ 等管理和隐私目录
3
输入你的网站地图 Sitemap URL，帮助搜索引擎发现并索引你的所有页面
4
复制生成的 robots.txt 内容并上传到网站根目录，搜索引擎将自动识别该文件
常见问题
不一定。robots.txt 主要控制爬虫抓取，不等同于删除索引。已经被发现的 URL 仍可能以无摘要形式出现。需要阻止收录应使用 noindex 等方式。
它会告诉匹配的爬虫不要抓取整个网站。上线前务必检查，避免误把正式站点全部屏蔽。
建议写。Sitemap 行能帮助搜索引擎发现站点地图位置，但仍可在搜索引擎站长平台单独提交。
不能。robots.txt 是公开文件，反而会暴露路径。私密内容应使用登录权限、服务器访问控制或删除公开入口。
还有疑问？查看我们的其他工具或 联系我们 获取支持。