Penjana robots.txt

Penjana ini membina robots.txt yang mematuhi piawaian daripada berbilang blok peraturan User-agent. Setiap peraturan mempunyai User-agent sendiri, senarai Disallow berbilang baris, dan senarai Allow berbilang baris (kedua-duanya disunting satu laluan setiap baris). Tetapan global menambah URL Sitemap pilihan dan arahan Crawl-delay, kemudian butang Jana menggabungkan segala-galanya dengan pemisahan baris kosong yang betul antara kumpulan peraturan.

1. Sunting User-agent setiap kad Peraturan (lalai kepada *, atau bot tertentu seperti Googlebot). 2. Masukkan laluan Disallow satu setiap baris (cth. /admin/, /api/). 3. Masukkan laluan Allow satu setiap baris (cth. /) untuk pengecualian. 4. Klik Tambah Peraturan untuk menyisipkan blok User-agent lain (lalai Googlebot); padam dengan butang tong sampah apabila lebih daripada satu peraturan wujud. 5. Tetapkan URL Sitemap dan Crawl-delay pilihan dalam Tetapan Global. 6. Klik Jana, kemudian Salin output ke punca tapak anda.

Output ialah teks biasa mengikut protokol pengecualian robot: `User-agent: <agent>` diikuti dengan baris `Disallow:` dan `Allow:`, kemudian `Crawl-delay:` jika ditetapkan. Blok peraturan dipisahkan oleh baris kosong. Satu baris `Sitemap: <url>` dilampirkan di hujung apabila sitemap disediakan. Laluan dikeluarkan secara verbatim daripada input anda, jadi garis condong pendahulu dan garis condong penamat mesti dimasukkan seperti yang dimaksudkan.