Gerador robots.txt
Gerador de robots.txt gratuito online, editor visual
O que é robots.txt?
robots.txt é um arquivo colocado na raiz de um site que diz aos crawlers de mecanismos de busca quais páginas ou seções podem e não podem acessar. Usa o Protocolo de Exclusão de Robôs para definir regras para diferentes user-agents (crawlers). Um robots.txt corretamente configurado é essencial para SEO.
Como gerar um arquivo robots.txt
Adicione regras especificando user-agent, caminhos proibidos (disallow) e caminhos permitidos (allow). Opcionalmente, adicione uma URL de sitemap e atraso de rastreamento. Clique em Gerar para produzir o conteúdo do robots.txt. Copie a saída e coloque-a na raiz do seu site (https://example.com/robots.txt).
▶O robots.txt bloqueia mecanismos de busca de indexar?
robots.txt diz aos crawlers para não rastrear certas páginas, mas não impede a indexação se outras páginas linkarem para elas. Para bloqueio real, use a meta tag noindex ou proteção por senha.
▶O que User-agent: * significa?
O curinga * aplica a regra a todos os crawlers. Você pode direcionar crawlers específicos pelo nome, como User-agent: Googlebot para o crawler do Google.
▶Onde devo colocar o robots.txt?
Coloque o arquivo robots.txt na raiz do seu domínio: https://example.com/robots.txt. Ele deve ser acessível via HTTP e não pode estar em um subdiretório.