robots.txt Oluşturucu

Bu oluşturucu, birden çok User-agent kural bloğundan standartlara uygun bir robots.txt dosyası oluşturur. Her kuralın kendi User-agent değeri, çok satırlı bir Disallow listesi ve çok satırlı bir Allow listesi vardır (her ikisi de satır başına bir yol düzenlenir). Genel ayarlar isteğe bağlı bir Sitemap URL'si ve Crawl-delay yönergesi ekler, ardından Oluştur düğmesi her şeyi kural grupları arasında doğru boş satır ayrımıyla birleştirir.

1. Her Kural kartının User-agent değerini düzenleyin (varsayılan olarak *, veya Googlebot gibi belirli bir bot). 2. Disallow yollarını satır başına bir girin (örneğin /admin/, /api/). 3. İstisnalar için Allow yollarını satır başına bir girin (örneğin /). 4. Başka bir User-agent bloğu eklemek için Kural Ekle'ye tıklayın (varsayılan Googlebot); birden fazla kural olduğunda çöp kutusu düğmesiyle silin. 5. Genel Ayarlar'da Sitemap URL'sini ve isteğe bağlı Crawl-delay değerini ayarlayın. 6. Oluştur'a tıklayın, ardından çıktıyı sitenizin köküne Kopyalayın.

Çıktı, robots hariç tutma protokolünü izleyen düz metindir: `User-agent: <agent>`, ardından `Disallow:` ve `Allow:` satırları, ardından ayarlanmışsa `Crawl-delay:` satırı. Kural blokları bir boş satırla ayrılır. Sitemap sağlandığında sonuna tek bir `Sitemap: <url>` satırı eklenir. Yollar girişinizden birebir çıktılanır, bu nedenle baştaki ve sondaki eğik çizgileri amaçlandığı gibi girilmelidir.