Generador de robots.txt.
Herramienta gratuita de generación de robots.txt en línea, con editor visual.
Que es robots.txt?
robots.txt es un archivo colocado en la raiz de un sitio web que dice a los rastreadores de motores de busqueda que paginas o secciones pueden y no pueden acceder. Usa el Protocolo de Exclusion de Robots para definir reglas para diferentes user-agents (rastreadores). Un robots.txt correctamente configurado es esencial para SEO.
Como generar un archivo robots.txt
Agrega reglas especificando user-agent, rutas disallow y rutas allow. Opcionalmente agrega una URL de sitemap y retardo de rastreo. Haz clic en Generar para producir el contenido de robots.txt. Copia la salida y colocala en la raiz de tu sitio web (https://example.com/robots.txt).
▶robots.txt bloquea a los motores de busqueda de indexar?
▶Que significa User-agent: *?
▶Donde debo colocar robots.txt?
Si este herramienta le ha sido útil, considere comprarme un café.
Compra un café para mí.