PasteZap
🌐 Italiano
Gratis · Senza account

Gratis · SEO

Generatore robots.txt.

Genera le direttive di scansione di un robots.txt e un riferimento facoltativo alla sitemap.

Prima di iniziare

Alcuni controlli tecnici sono in inglese. I testi Unicode sono supportati; formati e lingue di output dipendono dallo strumento.

I limiti tecnici sono indicati in inglese qui sotto. Controllali prima di elaborare file grandi o utilizzare il risultato.

LOCAL PROCESSING · NO ACCOUNT

Come creare un file robots.txt

  1. Lascia * in «User agent» per rivolgerti a tutti i crawler, oppure scrivi un nome come Googlebot.
  2. Nella casella di testo elenca i percorsi da bloccare, uno per riga, ciascuno che inizia con /, per esempio /private/ o /cart/. Lasciala vuota per consentire tutto.
  3. Scegli «Disallow listed paths» o «Allow listed paths», aggiungi la «Sitemap URL (optional)» e scegli un’opzione in «AI crawlers».
  4. Copia o scarica il risultato e caricalo come robots.txt nella radice del dominio, per esempio https://example.com/robots.txt.

Con /private/ e un indirizzo di sitemap, il file contiene User-agent: *, Disallow: /private/ e Sitemap: https://example.com/sitemap.xml. Senza percorsi, lo strumento scrive una riga Disallow: vuota, che consente tutto il sito. I percorsi sono confrontati dall’inizio dell’URL, quindi /private/ copre anche /private/files/report.pdf.

Crawler di IA e cosa robots.txt non fa

«Block AI training crawlers (keep AI search)» aggiunge regole per GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider e Meta-ExternalAgent senza toccare i bot di ricerca IA. «Block all AI crawlers» blocca anche OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User e Amazonbot, e può togliere le tue pagine dalle risposte dell’IA. Per regolare ogni bot usa il generatore di robots.txt per l’IA.

robots.txt controlla la scansione, non l’indicizzazione né la privacy. Una pagina bloccata può comunque comparire nei risultati se altri siti la collegano, e chiunque può leggere il file: non elencarvi mai cartelle segrete. Per escludere una pagina da Google, lasciala scansionare e aggiungi un meta tag noindex, per esempio con il generatore di meta tag. Per creare la sitemap indicata usa il generatore di sitemap XML.

Limiti e formati supportati

I dati vengono elaborati sul tuo dispositivo.

Note tecniche in inglese

robots.txt controls crawling, not privacy or guaranteed deindexing.

Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.

Allow crawling and add a sitemap URL.

Domande frequenti

Dove va messo il file robots.txt?

Nella radice del dominio, come https://example.com/robots.txt. I crawler non lo cercano nelle sottocartelle e ogni sottodominio richiede il proprio file.

Disallow rimuove una pagina da Google?

No. Impedisce la scansione, ma un URL bloccato può essere indicizzato tramite i link. Usa un tag noindex su una pagina scansionabile per toglierla dai risultati.

I crawler di IA rispettano robots.txt?

Le grandi aziende di IA dicono di rispettarlo, ma è volontario e alcuni crawler lo ignorerebbero. Il file generato lo segnala in un commento.