robots.txt-generator
Gratis online tool voor robots.txt-generatie, visuele editor
Wat is robots.txt?
robots.txt is een bestand dat in de hoofdmap van een website wordt geplaatst en zoekmachinecrawlers vertelt welke pagina's of secties ze wel en niet kunnen bezoeken. Het gebruikt het Robots Exclusion Protocol om regels te definiëren voor verschillende user-agents (crawlers). Een goed geconfigureerde robots.txt is essentieel voor SEO.
Een robots.txt-bestand genereren
Voeg regels toe door user-agent, disallow-paden en allow-paden op te geven. Voeg optioneel een sitemap-URL en crawl-vertraging toe. Klik op Genereren om de robots.txt-inhoud te produceren. Kopieer de uitvoer en plaats deze in de hoofdmap van uw website (https://example.com/robots.txt).
▶Blokkeert robots.txt zoekmachines van indexering?
▶Wat betekent User-agent: *?
▶Waar moet ik robots.txt plaatsen?
Als deze tool je heeft geholpen, denk dan eens aan het geven van een kop koffie aan mij.
Koop me een kop koffie.