robots.txt-generator

Denna generator bygger en standardkompatibel robots.txt från flera User-agent-regelblock. Varje regel har sin egen User-agent, en flerraders Disallow-lista och en flerraders Allow-lista (båda redigerade en sökväg per rad). Globala lägger till en valfri Sitemap-URL och Crawl-delay-direktiv, sedan sammanfogar Generera-knappen allt med korrekt tom rad-separation mellan regelgrupper.

1. Redigera varje Regelkorts User-agent (standard är *, eller en specifik bot som Googlebot). 2. Ange Disallow-sökvägar en per rad (t.ex. /admin/, /api/). 3. Ange Allow-sökvägar en per rad (t.ex. /) för undantag. 4. Klicka på Lägg till regel för att infoga ytterligare ett User-agent-block (standard Googlebot); ta bort med papperskorgsknappen när mer än en regel finns. 5. Ställ in Sitemap-URL och valfri Crawl-delay i Globala inställningar. 6. Klicka på Generera, kopiera sedan utdata till din rotkatalog.

Utdata är oformaterad text som följer robots-protokollet: `User-agent: <agent>` följt av sina `Disallow:`- och `Allow:`-rader, sedan `Crawl-delay:` om inställt. Regelblock separeras med en tom rad. En enda `Sitemap: <url>`-rad läggs till i slutet när en sitemap tillhandahålls. Sökvägar skrivs ut exakt som din inmatning, så inledande snedstreck och avslutande snedstreck måste anges som avsett.