robots.txt 產生器
免費線上 robots.txt 產生工具，視覺化編輯
什麼是 robots.txt？
robots.txt 是放置在網站根目錄的檔案，告訴搜尋引擎爬蟲哪些頁面或區域可以和不可以存取。它使用 Robots 排除協定為不同的 user-agent（爬蟲）定義規則。正確設定的 robots.txt 對 SEO 至關重要。
如何產生 robots.txt 檔案
透過指定 user-agent、禁止路徑和允許路徑來新增規則。可選新增 Sitemap URL 和抓取延遲。點擊「產生」產生 robots.txt 內容。複製輸出並放置在網站根目錄（https://example.com/robots.txt）。
▶robots.txt 能阻止搜尋引擎索引嗎？
robots.txt 告訴爬蟲不要抓取某些頁面，但如果其他頁面連結到它們，並不能阻止索引。要真正阻止，請使用 noindex meta 標籤或密碼保護。
▶User-agent: * 是什麼意思？
* 萬用字元將規則套用於所有爬蟲。你可以按名稱指定特定爬蟲，如 User-agent: Googlebot 針對 Google 的爬蟲。
▶robots.txt 應該放在哪裡？
將 robots.txt 檔案放在網域根目錄：https://example.com/robots.txt。它必須可透過 HTTP 存取，不能放在子目錄中。