Gratis · SEO
Generatore di robots.txt per i crawler IA.
Blocca o consenti GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot e altri crawler IA nel robots.txt: bloccare l’addestramento, mantenere la ricerca IA o bloccare tutto.
Loading the calculator…
Come usare questo strumento: Generatore di robots.txt per i crawler IA
Inserisci i dati o scegli il file. Regola le opzioni, genera il risultato e controllalo prima di copiarlo o scaricarlo.
Limiti e formati supportati
I dati vengono elaborati sul tuo dispositivo.
Note tecniche in inglese
robots.txt is voluntary; some crawlers ignore it. User-agent names change, so check each company’s documentation. Everything is calculated in your browser; nothing you type is uploaded.
Training crawlers collect pages for model training; search crawlers index pages for AI answers; user agents fetch a page when a person asks. Blocked crawlers get “Disallow: /”; the others follow your normal rules.
The default policy blocks the 7 training crawlers (GPTBot, ClaudeBot, Google-Extended…) and keeps the 7 search and user-request crawlers allowed.