Generator robots.txt
Darmowy generator robots.txt online, edytor wizualny
Co to jest robots.txt?
robots.txt to plik umieszczany w katalogu głównym strony, który mówi crawlerom wyszukiwarek, które strony lub sekcje mogą, a których nie mogą odwiedzać. Używa protokołu Robots Exclusion Protocol do definiowania reguł dla różnych user-agentów (crawlerów). Prawidłowo skonfigurowany robots.txt jest niezbędny dla SEO.
Jak wygenerować plik robots.txt
Dodaj reguły, określając user-agent, ścieżki disallow i ścieżki allow. Opcjonalnie dodaj URL sitemap i crawl delay. Kliknij Generuj, aby wyprodukować treść robots.txt. Skopiuj wynik i umieść go w katalogu głównym swojej strony (https://example.com/robots.txt).
▶Czy robots.txt blokuje indeksowanie przez wyszukiwarki?
robots.txt mówi crawlerom, aby nie odwiedzały pewnych stron, ale nie zapobiega indeksowaniu, jeśli inne strony linkują do nich. Do prawdziwego blokowania użyj meta tagu noindex lub ochrony hasłem.
▶Co oznacza User-agent: *?
Symbol wieloznaczny * stosuje regułę do wszystkich crawlerów. Możesz celować w konkretne crawlery po nazwie, np. User-agent: Googlebot dla crawlera Google.
▶Gdzie powinienem umieścić robots.txt?
Umieść plik robots.txt w katalogu głównym domeny: https://example.com/robots.txt. Musi być dostępny przez HTTP i nie może być w podkatalogu.