robots.txt Generator
Gratis online robots.txt-generator, visuele editor
Wat is robots.txt?
robots.txt is een bestand dat in de hoofdmap van een website wordt geplaatst en zoekmachinecrawlers vertelt welke pagina's of secties ze wel en niet kunnen bezoeken. Het gebruikt het Robots Exclusion Protocol om regels te definiëren voor verschillende user-agents (crawlers). Een goed geconfigureerde robots.txt is essentieel voor SEO.
Een robots.txt-bestand genereren
Voeg regels toe door user-agent, disallow-paden en allow-paden op te geven. Voeg optioneel een sitemap-URL en crawl-vertraging toe. Klik op Genereren om de robots.txt-inhoud te produceren. Kopieer de uitvoer en plaats deze in de hoofdmap van uw website (https://example.com/robots.txt).
▶Blokkeert robots.txt zoekmachines van indexering?
robots.txt vertelt crawlers om bepaalde pagina's niet te crawlen, maar het voorkomt niet indexering als andere pagina's ernaar linken. Voor echte blokkering gebruikt u de noindex-meta-tag of wachtwoordbeveiliging.
▶Wat betekent User-agent: *?
Het jokerteken * past de regel toe op alle crawlers. U kunt specifieke crawlers op naam targeten, zoals User-agent: Googlebot voor de crawler van Google.
▶Waar moet ik robots.txt plaatsen?
Plaats het robots.txt-bestand in de hoofdmap van uw domein: https://example.com/robots.txt. Het moet via HTTP toegankelijk zijn en kan niet in een submap staan.