robots.txt-Generator
Freier Online-robots.txt-Generator mit visueller Editierfunktion
Was ist robots.txt?
robots.txt ist eine Datei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche sie zugreifen duerfen und welche nicht. Sie verwendet das Robots-Exclusion-Protokoll zur Definition von Regeln fuer verschiedene User-Agents (Crawler). Eine korrekt konfigurierte robots.txt ist fuer SEO unerlaesslich.
robots.txt-Datei generieren
Fuegen Sie Regeln hinzu, indem Sie User-Agent, Disallow-Pfade und Allow-Pfade angeben. Optional koennen Sie eine Sitemap-URL und Crawl-Delay hinzufuegen. Klicken Sie auf Generieren, um den robots.txt-Inhalt zu erstellen. Kopieren Sie die Ausgabe und platzieren Sie sie im Wurzelverzeichnis Ihrer Website.
▶Blockiert robots.txt die Indizierung durch Suchmaschinen?
▶Was bedeutet User-agent: *?
▶Wo sollte ich robots.txt platzieren?
Wenn dieses Tool Ihnen geholfen hat, zögern Sie nicht, mir einen Kaffee zu kaufen.
Kaufe mir einen Kaffee.