robots.txt-Generator
Kostenloser Online-robots.txt-Generator, visueller Editor
Was ist robots.txt?
robots.txt ist eine Datei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche sie zugreifen duerfen und welche nicht. Sie verwendet das Robots-Exclusion-Protokoll zur Definition von Regeln fuer verschiedene User-Agents (Crawler). Eine korrekt konfigurierte robots.txt ist fuer SEO unerlaesslich.
robots.txt-Datei generieren
Fuegen Sie Regeln hinzu, indem Sie User-Agent, Disallow-Pfade und Allow-Pfade angeben. Optional koennen Sie eine Sitemap-URL und Crawl-Delay hinzufuegen. Klicken Sie auf Generieren, um den robots.txt-Inhalt zu erstellen. Kopieren Sie die Ausgabe und platzieren Sie sie im Wurzelverzeichnis Ihrer Website.
▶Blockiert robots.txt die Indizierung durch Suchmaschinen?
robots.txt teilt Crawlern mit, bestimmte Seiten nicht zu crawlen, verhindert aber nicht die Indizierung, wenn andere Seiten darauf verlinken. Fuer echtes Blockieren verwenden Sie den noindex-Meta-Tag oder Passwortschutz.
▶Was bedeutet User-agent: *?
Der *-Platzhalter wendet die Regel auf alle Crawler an. Sie koennen gezielt bestimmte Crawler ansprechen, wie User-agent: Googlebot fuer den Google-Crawler.
▶Wo sollte ich robots.txt platzieren?
Platzieren Sie die robots.txt-Datei im Wurzelverzeichnis Ihrer Domain: https://example.com/robots.txt. Sie muss per HTTP zugaenglich sein und kann nicht in einem Unterverzeichnis liegen.