Gratis · SEO
Generatore robots.txt.
Genera le direttive di scansione di un robots.txt e un riferimento facoltativo alla sitemap.
Come creare un file robots.txt
- Lascia
*in «User agent» per rivolgerti a tutti i crawler, oppure scrivi un nome comeGooglebot. - Nella casella di testo elenca i percorsi da bloccare, uno per riga, ciascuno che inizia con
/, per esempio/private/o/cart/. Lasciala vuota per consentire tutto. - Scegli «Disallow listed paths» o «Allow listed paths», aggiungi la «Sitemap URL (optional)» e scegli un’opzione in «AI crawlers».
- Copia o scarica il risultato e caricalo come
robots.txtnella radice del dominio, per esempiohttps://example.com/robots.txt.
Con /private/ e un indirizzo di sitemap, il file contiene User-agent: *, Disallow: /private/ e Sitemap: https://example.com/sitemap.xml. Senza percorsi, lo strumento scrive una riga Disallow: vuota, che consente tutto il sito. I percorsi sono confrontati dall’inizio dell’URL, quindi /private/ copre anche /private/files/report.pdf.
Crawler di IA e cosa robots.txt non fa
«Block AI training crawlers (keep AI search)» aggiunge regole per GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider e Meta-ExternalAgent senza toccare i bot di ricerca IA. «Block all AI crawlers» blocca anche OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User e Amazonbot, e può togliere le tue pagine dalle risposte dell’IA. Per regolare ogni bot usa il generatore di robots.txt per l’IA.
robots.txt controlla la scansione, non l’indicizzazione né la privacy. Una pagina bloccata può comunque comparire nei risultati se altri siti la collegano, e chiunque può leggere il file: non elencarvi mai cartelle segrete. Per escludere una pagina da Google, lasciala scansionare e aggiungi un meta tag noindex, per esempio con il generatore di meta tag. Per creare la sitemap indicata usa il generatore di sitemap XML.
Limiti e formati supportati
I dati vengono elaborati sul tuo dispositivo.
Note tecniche in inglese
robots.txt controls crawling, not privacy or guaranteed deindexing.
Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.
Allow crawling and add a sitemap URL.
Domande frequenti
Dove va messo il file robots.txt?
Nella radice del dominio, come https://example.com/robots.txt. I crawler non lo cercano nelle sottocartelle e ogni sottodominio richiede il proprio file.
Disallow rimuove una pagina da Google?
No. Impedisce la scansione, ma un URL bloccato può essere indicizzato tramite i link. Usa un tag noindex su una pagina scansionabile per toglierla dai risultati.
I crawler di IA rispettano robots.txt?
Le grandi aziende di IA dicono di rispettarlo, ma è volontario e alcuni crawler lo ignorerebbero. Il file generato lo segnala in un commento.