Generatore robots.txt
Crea un robots.txt corretto con regole allow/disallow, crawl-delay e direttive sitemap usando comodi preset. Gratis e funziona nel tuo browser.
Crea un robots.txt pulito direttamente nel tuo browser. Non viene caricato nulla — tutto è generato localmente.
Posiziona questo file nella radice del tuo sito affinché sia raggiungibile su https://il-tuo-sito.com/robots.txt
Informazioni su Generatore robots.txt
Questo generatore di robots.txt crea un file robots.txt sintatticamente corretto a partire da gruppi di user-agent, ciascuno con i propri percorsi Allow e Disallow e un Crawl-delay facoltativo. Aggiungi tutti i gruppi che ti servono: un gruppo jolly * per tutti i crawler più regole specifiche per singoli bot, e elenca una o più direttive Sitemap alla fine.
Preset rapidi coprono i punti di partenza più comuni: consenti tutto, blocca tutto, una configurazione WordPress sensata e una lista di blocco per bot comuni. Parti da un preset, poi regola i percorsi in base alla struttura del tuo sito.
Il file viene generato localmente nel tuo browser e non viene mai caricato. Copia l'output o scarica robots.txt, quindi posizionalo nella radice del tuo sito così i crawler lo trovano su https://tuo-sito.com/robots.txt: quella posizione esatta è l'unica controllata dai motori di ricerca.
Come usare Generatore robots.txt
- Facoltativamente parti da un preset: Consenti tutto, Blocca tutto, WordPress o Blocca bot comuni.
- Modifica lo user-agent per ogni gruppo (per esempio * o Googlebot) e aggiungi percorsi Disallow e Allow.
- Imposta un Crawl-delay facoltativo in secondi e aggiungi altri gruppi per altri crawler se necessario.
- Aggiungi gli URL delle tue sitemap così i crawler possono scoprirle.
- Copia il risultato o scarica robots.txt, e caricalo nella radice del tuo sito.