Guida pratica

Generatore robots.txt — Guida all’uso e principi tecnici

Crea file robots.txt personalizzati con template, regole per user-agent, disallow/allow, crawl-delay e dichiarazioni sitemap.

Apri lo strumento

Panoramica

robots.txt indirizza i crawler verso le pagine rilevanti, evita sprechi di crawl budget e protegge aree che non devono essere indicizzate. È uno strumento fondamentale per la salute SEO e la gestione delle risorse server.

Concetti chiave

Specifiche robots.txt

Basato sul Robots Exclusion Protocol supportato da Google, Bing e altri motori. Le direttive sono case-insensitive e commentabili.

Priorità delle regole

Le direttive più specifiche prevalgono su quelle generiche. L'ordine importa quando si usano wildcard e Allow per creare eccezioni.

Crawl-delay

Supportato da Bing e Yandex. Google non lo considera, ma rispetta la velocità impostata in Search Console e l'ottimizzazione automatica.

Sitemap

Includere l'URL completo della sitemap accelera l'indicizzazione e facilita il discovery di nuove pagine.

Funzionalità principali

Regole multi crawler

Configura direttive dedicate per Googlebot, Bingbot, Yandex o per tutti i bot usando il wildcard `*`.

Template pronti

Seleziona scenari comuni (WordPress, SPA, Next.js) e adatta velocemente le regole di base.

Gestione crawl budget

Imposta Allow/Disallow granulari, aggiungi crawl-delay e integra le sitemap per migliorare l'indicizzazione.

Validazione sintassi

Il file viene controllato per direttive non supportate, duplicati e percorsi non coerenti.

Domande frequenti

Cosa succede se blocco tutto il sito?

Usando `Disallow: /` impedisci la scansione completa e Google potrebbe rimuovere le pagine dall'indice. È consigliato solo per ambienti di staging protetti.

A cosa serve Allow se ho già Disallow?

`Allow` crea eccezioni a regole generiche. Ad esempio, puoi bloccare `/private/` ma consentire `/private/landing/` per pagine specifiche.

Robots.txt protegge i dati sensibili?

No. Il file è pubblico e i crawler malevoli possono ignorarlo. Per proteggere risorse usa autenticazione o restrizioni server.

Posso avere più file robots.txt?

No, i crawler cercano esclusivamente `https://tuodominio/robots.txt`. Inserisci tutte le regole in un unico file e aggiorna quando necessario.

Documentazione correlata

Generatore robots.txt

Apri lo strumento per provare queste funzionalità.

Apri lo strumento