Generador de robots.txt
Generador de robots.txt gratuito online, editor visual
Que es robots.txt?
robots.txt es un archivo colocado en la raiz de un sitio web que dice a los rastreadores de motores de busqueda que paginas o secciones pueden y no pueden acceder. Usa el Protocolo de Exclusion de Robots para definir reglas para diferentes user-agents (rastreadores). Un robots.txt correctamente configurado es esencial para SEO.
Como generar un archivo robots.txt
Agrega reglas especificando user-agent, rutas disallow y rutas allow. Opcionalmente agrega una URL de sitemap y retardo de rastreo. Haz clic en Generar para producir el contenido de robots.txt. Copia la salida y colocala en la raiz de tu sitio web (https://example.com/robots.txt).
▶robots.txt bloquea a los motores de busqueda de indexar?
robots.txt dice a los rastreadores que no rastrear ciertas paginas, pero no previene la indexacion si otras paginas enlazan a ellas. Para bloqueo real, usa la meta etiqueta noindex o proteccion por contrasena.
▶Que significa User-agent: *?
El comodin * aplica la regla a todos los rastreadores. Puedes dirigirte a rastreadores especificos por nombre, como User-agent: Googlebot para el rastreador de Google.
▶Donde debo colocar robots.txt?
Coloca el archivo robots.txt en la raiz de tu dominio: https://example.com/robots.txt. Debe ser accesible via HTTP y no puede estar en un subdirectorio.