robots.txt-generaattori

Tämä generaattori rakentaa standardinmukaisen robots.txt:n useista User-agent-sääntölohkoista. Jokaisella säännöllä on oma User-agent, monirivinen Disallow-lista ja monirivinen Allow-lista (molemmat muokattuna yksi polku per rivi). Globaalit asetukset lisäävät valinnaisen Sitemap-URL:n ja Crawl-delay-direktiivin, sitten Generoi-painike yhdistää kaiken oikealla tyhjä-rivi-erottelulla sääntöryhmien välillä.

1. Muokkaa jokaisen Sääntökortin User-agentia (oletus *, tai tietty botti kuten Googlebot). 2. Syötä Disallow-polkuja yksi per rivi (esim. /admin/, /api/). 3. Syötä Allow-polkuja yksi per rivi (esim. /) poikkeuksia varten. 4. Klikkaa Lisää sääntö lisätäksesi toisen User-agent-lohkon (oletus Googlebot); poista roskakori-painikkeella kun on enemmän kuin yksi sääntö. 5. Aseta Sitemap-URL ja valinnainen Crawl-delay Globaaleissa asetuksissa. 6. Klikkaa Generoi, sitten Kopioi tuloste sivustosi juureen.

Tuloste on pelkkää tekstiä noudattaen robots-exclusion-protokollaa: `User-agent: <agent>` followed by its `Disallow:` and `Allow:` lines, then `Crawl-delay:` if set. Sääntölohkot on erotettu tyhjällä rivillä. Yksittäinen `Sitemap: <url>`-rivi lisätään loppuun kun sitemap on tarjottu. Polut emitoidaan sellaisenaan syötteestäsi, joten johtavat kauttaviivat ja trailing-kauttaviivat täytyy syöttää tarkoitetulla tavalla.