Gerador de robots.txt.
Ferramenta de gerador de robots.txt online gratuita, com editor visual.
O que é robots.txt?
robots.txt é um arquivo colocado na raiz de um site que diz aos crawlers de mecanismos de busca quais páginas ou seções podem e não podem acessar. Usa o Protocolo de Exclusão de Robôs para definir regras para diferentes user-agents (crawlers). Um robots.txt corretamente configurado é essencial para SEO.
Como gerar um arquivo robots.txt
Adicione regras especificando user-agent, caminhos proibidos (disallow) e caminhos permitidos (allow). Opcionalmente, adicione uma URL de sitemap e atraso de rastreamento. Clique em Gerar para produzir o conteúdo do robots.txt. Copie a saída e coloque-a na raiz do seu site (https://example.com/robots.txt).
▶O robots.txt bloqueia mecanismos de busca de indexar?
robots.txt diz aos crawlers para não rastrear certas páginas, mas não impede a indexação se outras páginas linkarem para elas. Para bloqueio real, use a meta tag noindex ou proteção por senha.
▶O que User-agent: * significa?
O curinga * aplica a regra a todos os crawlers. Você pode direcionar crawlers específicos pelo nome, como User-agent: Googlebot para o crawler do Google.
▶Onde devo colocar o robots.txt?
Coloque o arquivo robots.txt na raiz do seu domínio: https://example.com/robots.txt. Ele deve ser acessível via HTTP e não pode estar em um subdiretório.
Se este ferramenta foi útil para você, pense em me dar um café.
Compre um café para mim.