robots.txt-generator

Denne generatoren bygger en standardkompatibel robots.txt fra flere User-agent regelblokker. hver regel har sin egen User-agent, en flerradig Disallow-liste, og en flerradig Allow-liste (begge redigert én sti per linje). Globale innstillinger legger til en valgfri Sitemap URL og Crawl-delay-direktiv, så kobler Generér-knappen alt sammen med riktig blanklinje-separasjon mellom regelgrupper.

1. Rediger hver regelkorts User-agent (standard er *, eller en spesifikk bot som Googlebot). 2. Skriv inn Disallow-stier én per linje (f.eks. /admin/, /api/). 3. Skriv inn Allow-stier én per linje (f.eks. /) for unntak. 4. Klikk Legg til regel for å sette inn en ny User-agent-blokk (standard Googlebot); slett med søppelbøtte-knappen når mer enn én regel finnes. 5. Angi Sitemap URL og valgfri Crawl-delay i Globale innstillinger. 6. Klikk Generér, og kopier deretter utdataen til din rot-katalog.

Utdata er ren tekst som følger robots-ekslusjonsprotokollen: `User-agent: <agent>` etterfulgt av sine `Disallow:` og `Allow:`-linjer, deretter `Crawl-delay:` hvis angitt. Regelblokker skilles med en blank linje. En enkelt `Sitemap: <url>`-linje legges til på slutten når et sitemap er angitt. Stier sendes ut nøyaktig som din input, så innledende skråstreker og avsluttende skråstreker må skrives som tiltenkt.