robots.txt 生成器
免费在线 robots.txt 生成工具，可视化编辑
什么是 robots.txt？
robots.txt 是放置在网站根目录的文件，告诉搜索引擎爬虫哪些页面或区域可以和不可以访问。它使用 Robots 排除协议为不同的 user-agent（爬虫）定义规则。正确配置的 robots.txt 对 SEO 至关重要。
如何生成 robots.txt 文件
通过指定 user-agent、禁止路径和允许路径来添加规则。可选添加 Sitemap URL 和抓取延迟。点击「生成」生成 robots.txt 内容。复制输出并放置在网站根目录（https://example.com/robots.txt）。
▶robots.txt 能阻止搜索引擎索引吗？
robots.txt 告诉爬虫不要抓取某些页面，但如果其他页面链接到它们，并不能阻止索引。要真正阻止，请使用 noindex meta 标签或密码保护。
▶User-agent: * 是什么意思？
* 通配符将规则应用于所有爬虫。你可以按名称指定特定爬虫，如 User-agent: Googlebot 针对 Google 的爬虫。
▶robots.txt 应该放在哪里？
将 robots.txt 文件放在域名根目录：https://example.com/robots.txt。它必须可通过 HTTP 访问，不能放在子目录中。