Générateur robots.txt
Générateur de robots.txt gratuit en ligne, éditeur visuel
Qu'est-ce que robots.txt ?
robots.txt est un fichier placé à la racine d'un site web qui indique aux robots d'indexation des moteurs de recherche quelles pages ou sections ils peuvent ou ne peuvent pas accéder. Il utilise le protocole d'exclusion des robots pour définir des règles pour différents user-agents (robots). Un fichier robots.txt correctement configuré est essentiel pour le SEO.
Comment générer un fichier robots.txt
Ajoutez des règles en spécifiant le user-agent, les chemins interdits et les chemins autorisés. Ajoutez éventuellement une URL de sitemap et un délai d'exploration. Cliquez sur Générer pour produire le contenu robots.txt. Copiez le résultat et placez-le à la racine de votre site web (https://example.com/robots.txt).
▶robots.txt bloque-t-il les moteurs de recherche de l'indexation ?
robots.txt indique aux robots de ne pas explorer certaines pages, mais cela n'empêche pas l'indexation si d'autres pages y font lien. Pour un vrai blocage, utilisez la balise méta noindex ou une protection par mot de passe.
▶Que signifie User-agent: * ?
Le caractère générique * applique la règle à tous les robots. Vous pouvez cibler des robots spécifiques par nom, comme User-agent: Googlebot pour le robot de Google.
▶Où dois-je placer robots.txt ?
Placez le fichier robots.txt à la racine de votre domaine : https://example.com/robots.txt. Il doit être accessible via HTTP et ne peut pas être dans un sous-répertoire.