robots.txt-generator

Denne generator opbygger en standardoverholdende robots.txt fra flere User-agent-regelblokke. Hver regel har sin egen User-agent, en flerlinjet Disallow-liste og en flerlinjet Allow-liste (begge redigeres én sti per linje). Globale indstillinger tilføjer en valgfri Sitemap-URL og et Crawl-delay-direktiv, og derefter samler knappen Generate alt med korrekt blanklinjeseparation mellem regelgrupper.

1. Rediger hvert regelkorts User-agent (standard er *, eller en specifik bot som Googlebot). 2. Indtast Disallow-stier én pr. linje (f.eks. /admin/, /api/). 3. Indtast Allow-stier én pr. linje (f.eks. /) for undtagelser. 4. Klik på Add Rule for at indsætte en anden User-agent-blok (standard Googlebot); slet med papirkurven, når der er mere end én regel. 5. Angiv Sitemap URL og valgfrit Crawl-delay i Global Settings. 6. Klik på Generate, og kopiér derefter outputtet til dit websteds rod.

Output er klartekst, der følger robots-udelukkelsesprotokollen: `User-agent: <agent>` efterfulgt af dens `Disallow:`- og `Allow:`-linjer, derefter `Crawl-delay:`, hvis angivet. Regelblokke adskilles af en blank linje. En enkelt `Sitemap: <url>`-linje tilføjes til sidst, når en sitemap er angivet. Stier udsendes ordret fra dit input, så foranstående og afsluttende skråstreger skal indtastes som tiltænkt.