Генератор robots.txt.
Бесплатный онлайн-генератор robots.txt, с визуальным редактором.
Что такое robots.txt?
Файл в корне сайта, указывающий поисковым роботам, какие страницы можно и нельзя сканировать. Использует протокол Robots Exclusion Protocol. Правильно настроенный robots.txt важен для SEO.
Как сгенерировать robots.txt
Добавьте правила: user-agent, disallow пути, allow пути. Добавьте URL sitemap и crawl delay. Скопируйте результат в файл robots.txt в корне сайта.
▶Блокирует ли robots.txt индексацию?
robots.txt говорит не сканировать, но не предотвращает индексацию, если другие страницы ссылаются на них. Для полной блокировки используйте noindex meta-тег.
▶Что означает User-agent: *?
Применяет правило ко всем роботам. Можно указать конкретных: User-agent: Googlebot.
▶Куда поместить robots.txt?
В корень домена: https://example.com/robots.txt. Должен быть доступен по HTTP.
Если этот инструмент оказался полезным для вас, подумайте о том, чтобы подарить мне кофе.
Купите мне кофе.