Generatore robots.txt
Generatore robots.txt gratuito online, editor visuale
Cos'è robots.txt?
robots.txt è un file posizionato nella root di un sito web che indica ai crawler dei motori di ricerca quali pagine o sezioni possono e non possono accedere. Utilizza il Robots Exclusion Protocol per definire regole per diversi user-agent (crawler). Un file robots.txt correttamente configurato è essenziale per la SEO.
Come generare un file robots.txt
Aggiungi regole specificando user-agent, percorsi disallow e percorsi allow. Facoltativamente aggiungi un URL sitemap e un crawl delay. Clicca Genera per produrre il contenuto robots.txt. Copia l'output e posizionalo nella root del tuo sito web (https://example.com/robots.txt).
▶robots.txt blocca l'indicizzazione da parte dei motori di ricerca?
robots.txt indica ai crawler di non esplorare certe pagine, ma non impedisce l'indicizzazione se altre pagine vi collegano. Per un blocco effettivo, usa il meta tag noindex o la protezione tramite password.
▶Cosa significa User-agent: *?
Il carattere jolly * applica la regola a tutti i crawler. Puoi indirizzare crawler specifici per nome, come User-agent: Googlebot per il crawler di Google.
▶Dove dovrei mettere robots.txt?
Posiziona il file robots.txt nella root del tuo dominio: https://example.com/robots.txt. Deve essere accessibile via HTTP e non può trovarsi in una sottodirectory.