Specifiche robots.txt
Basato sul Robots Exclusion Protocol supportato da Google, Bing e altri motori. Le direttive sono case-insensitive e commentabili.
Preparing your comprehensive developer toolkit
Guida pratica
Crea file robots.txt personalizzati con template, regole per user-agent, disallow/allow, crawl-delay e dichiarazioni sitemap.
robots.txt indirizza i crawler verso le pagine rilevanti, evita sprechi di crawl budget e protegge aree che non devono essere indicizzate. È uno strumento fondamentale per la salute SEO e la gestione delle risorse server.
Basato sul Robots Exclusion Protocol supportato da Google, Bing e altri motori. Le direttive sono case-insensitive e commentabili.
Le direttive più specifiche prevalgono su quelle generiche. L'ordine importa quando si usano wildcard e Allow per creare eccezioni.
Supportato da Bing e Yandex. Google non lo considera, ma rispetta la velocità impostata in Search Console e l'ottimizzazione automatica.
Includere l'URL completo della sitemap accelera l'indicizzazione e facilita il discovery di nuove pagine.
Configura direttive dedicate per Googlebot, Bingbot, Yandex o per tutti i bot usando il wildcard `*`.
Seleziona scenari comuni (WordPress, SPA, Next.js) e adatta velocemente le regole di base.
Imposta Allow/Disallow granulari, aggiungi crawl-delay e integra le sitemap per migliorare l'indicizzazione.
Il file viene controllato per direttive non supportate, duplicati e percorsi non coerenti.
Usando `Disallow: /` impedisci la scansione completa e Google potrebbe rimuovere le pagine dall'indice. È consigliato solo per ambienti di staging protetti.
`Allow` crea eccezioni a regole generiche. Ad esempio, puoi bloccare `/private/` ma consentire `/private/landing/` per pagine specifiche.
No. Il file è pubblico e i crawler malevoli possono ignorarlo. Per proteggere risorse usa autenticazione o restrizioni server.
No, i crawler cercano esclusivamente `https://tuodominio/robots.txt`. Inserisci tutte le regole in un unico file e aggiorna quando necessario.
Specifiche ufficiali su robots.txt e sintassi delle direttive
Guida su come Google interpreta robots.txt, errori comuni e debug
Strumento di Google Search Console per testare e convalidare il file
Indicazioni specifiche di Bing su robots.txt e crawling
Approfondimento SEO su quando bloccare o consentire contenuti
Apri lo strumento per provare queste funzionalità.