Bloccare l'addestramento AI nel robots.txt senza perdere le citazioni

Un robots.txt pensato per l'AI è un file robots.txt che nomina i crawler di ogni azienda AI in base al lavoro che fanno: così un sito rifiuta l'addestramento dei modelli e resta leggibile per i bot di ricerca e di risposta dietro ChatGPT, Claude, Perplexity e le funzioni AI di Google. Serve dal giorno in cui decidi che i tuoi contenuti non devono addestrare modelli ma devono continuare a essere citati. L'errore più comune è una sola regola che blocca tutti gli user agent AI insieme, e con loro la visibilità per cui il sito esiste.
La correzione sta in un file e in una decisione per azienda. Qui sotto: quale bot fa cosa a novembre 2026, il file che usiamo, cosa il robots.txt non può fermare e la nuova riga contro l'addestramento che l'IETF sta scrivendo.
Perché una regola «blocca tutta l'AI» ti costa citazioni
Ogni grande azienda AI oggi usa più di un bot, e ciascuno risponde alla sua riga nel robots.txt. OpenAI lo scrive chiaro: ogni impostazione è indipendente, quindi un sito può ammettere OAI-SearchBot per comparire nei risultati di ricerca e bloccare GPTBot per tenere i contenuti fuori dall'addestramento (OpenAI, panoramica dei crawler). Se blocchi anche OAI-SearchBot, il sito esce dalle risposte di ChatGPT search; secondo OpenAI può ancora comparire lì, ma solo come link di navigazione.
Anthropic descrive la stessa divisione. Disattivare Claude-SearchBot può ridurre visibilità e accuratezza del sito nei risultati di ricerca, e disattivare Claude-User impedisce a Claude di leggere le tue pagine quando un utente ne chiede (Anthropic, controlli del robots.txt).
La voglia di bloccare ha una causa vera. Cloudflare rileva che a giugno 2026 il 52% delle richieste dei crawler era per l'addestramento AI, contro il 22% della primavera 2025, mentre la scansione per la sola ricerca è una quota piccola e in calo (Cloudflare, Content Independence Day, un anno dopo). Il traffico di addestramento consuma banda e rimanda pochi visitatori. Quello di ricerca è la parte che ti cita. Un blocco totale li tratta come una cosa sola.
Quali bot AI addestrano, quali cercano e quali leggono per un utente
Ogni azienda divide i suoi bot fra tre lavori: raccogliere dati per l'addestramento, costruire un indice di ricerca, leggere una pagina perché una persona ha fatto una domanda. I nomi da conoscere, presi dalla documentazione di ciascuna:
- OpenAI. GPTBot raccoglie contenuti che possono addestrare i suoi modelli. OAI-SearchBot indicizza le pagine per ChatGPT search. ChatGPT-User visita una pagina quando la domanda di un utente lo richiede, e per OpenAI le regole del robots.txt «potrebbero non applicarsi».
- Anthropic. ClaudeBot raccoglie dati per l'addestramento. Claude-SearchBot indicizza le pagine per le risposte di ricerca. Claude-User legge le pagine per la domanda di un utente, e Anthropic lo elenca tra i bot che rispettano il robots.txt.
- Google. Google-Extended è un token di controllo senza un crawler suo: Google scansiona con i soliti user agent, e il token decide se quei contenuti possono addestrare i modelli Gemini e fondare le risposte in Gemini Apps e Vertex AI (Google, crawler comuni). AI Overviews e AI Mode fanno parte della Ricerca e seguono Googlebot.
- Perplexity. PerplexityBot indicizza le pagine per i risultati di Perplexity e, secondo l'azienda, non raccoglie dati di addestramento. Perplexity-User legge le pagine per la domanda di un utente e «in genere ignora le regole del robots.txt» (Perplexity, crawler).
Due di questi sono trappole. Google-Extended sembra l'interruttore delle risposte AI di Google, e non lo è. I lettori attivati dagli utenti, poi, stanno in parte fuori dal robots.txt: il file non può promettere quello che chi gestisce un sito spesso si aspetta.
Il robots.txt che blocca l'addestramento e lascia aperta la ricerca AI
L'RFC 9309, lo standard del robots.txt, ammette più righe user-agent nello stesso gruppo, quindi il file resta corto (RFC 9309, Robots Exclusion Protocol). Questa è la versione da cui partiamo:
# Addestramento: no
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
# Bot di ricerca e di risposta: sì
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Tutti gli altri, Googlebot compreso
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlContano tre dettagli. Un crawler segue il gruppo che lo nomina e ignora quello generico, quindi GPTBot legge il primo gruppo e salta l'asterisco. Le regole valgono per host: Anthropic chiede il file su ogni sottodominio da coprire. E OpenAI dice che una modifica arriva ai suoi sistemi di ricerca in circa 24 ore; Perplexity parla di 24 ore al massimo.
Un compromesso va deciso apposta. Bloccare Google-Extended ferma anche il grounding in Gemini Apps, che è a sua volta un posto dove si danno risposte. Se le citazioni in Gemini ti contano più del restare fuori dal suo addestramento, togli Google-Extended dal primo gruppo.
Cosa il robots.txt non può fare per le risposte AI
Lo standard lo dice in modo esplicito: queste regole non sono una forma di autorizzazione all'accesso. Una riga del robots.txt è una richiesta che i crawler dichiarati scelgono di rispettare. Ne seguono quattro limiti.
- I lettori attivati dagli utenti. ChatGPT-User e Perplexity-User possono leggere una pagina anche con un disallow, perché l'ha chiesta una persona. Per fermarli servono una regola del firewall o un login, e così la pagina sparisce anche da quelle risposte.
- Le AI Overviews di Google. Per Google il controllo sulla Ricerca, funzioni AI comprese, sono le regole del robots.txt per Googlebot. Per limitare cosa compare lì indica nosnippet, data-nosnippet, max-snippet e noindex (Google, le funzioni AI e il tuo sito). Bloccare Googlebot ti toglie dalla Ricerca del tutto.
- Un firewall davanti al file. Se la CDN blocca i bot AI prima che arrivino al sito, l'allow del robots.txt non viene mai letto. Cloudflare blocca di default i crawler AI noti sui domini nuovi; la nostra guida per sbloccare i crawler AI su Cloudflare spiega come.
- User agent falsi. Chiunque può scrivere «GPTBot» in un'intestazione. OpenAI, Anthropic e Perplexity pubblicano i loro intervalli di IP, e una riga di log conta solo se il suo IP è nella lista.
La nuova riga contro l'addestramento: __usage_ai-training
Nominare i bot uno per uno ha un limite: ogni nuovo crawler di addestramento chiede una riga in più. Il 30 ottobre 2026 una bozza IETF del gruppo di lavoro AI Preferences ha proposto un segnale generale, scritto come un normale gruppo del robots.txt con un token riservato (IETF, Machine-Readable Training Preference Signal):
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Quel gruppo dice no all'addestramento AI ovunque, tranne che nella cartella per la stampa. Esprime una preferenza d'uso: la bozza precisa che il token non regola la scansione, e un gruppo con l'asterisco non vale mai come corrispondenza. Anthropic ha cominciato a rispettare il segnale lo stesso giorno e considera più specifica una regola che nomina ClaudeBot. Google dice di volerlo supportare all'inizio del 2027.
Il nostro consiglio, per ora: aggiungi il gruppo con il token e tieni anche i gruppi che nominano i bot di addestramento. La bozza è alla versione 00 e può cambiare, e oggi la legge una sola azienda.
Come si applica in pratica
Prendi un SaaS con un sito di documentazione pubblico e un blog. Vuole che Claude e ChatGPT citino la documentazione quando un cliente chiede come integrare il prodotto, e non vuole i suoi testi nel prossimo set di addestramento. Noi faremmo così:
- Prendiamo una settimana di log di accesso e contiamo le richieste per ogni user agent AI, tenendo solo quelle con un IP presente nella lista pubblicata dall'azienda (openai.com/gptbot.json, openai.com/searchbot.json e le altre).
- Controlliamo le impostazioni della CDN sui bot, perché non blocchi un bot che il file ammette.
- Pubblichiamo il file qui sopra con il gruppo __usage_ai-training, sul dominio principale e sul sottodominio della documentazione.
- Apriamo /robots.txt su entrambi gli host, poi guardiamo i log: GPTBot e ClaudeBot si fermano al robots.txt, mentre OAI-SearchBot e Claude-SearchBot continuano a leggere le pagine.
Tutto il lavoro è un file per host e un pomeriggio passato sui log. La parte difficile è la decisione dietro ogni riga, e spetta a chi possiede i contenuti. Per l'altra metà del lavoro, far citare davvero le pagine che lasci aperte, leggi come farsi citare da Google AI Overviews e ChatGPT.
Domande frequenti
No. GPTBot raccoglie soltanto contenuti che possono addestrare i modelli di OpenAI. Se le tue pagine compaiono nelle risposte di ChatGPT search dipende da OAI-SearchBot, che puoi lasciare ammesso mentre blocchi GPTBot. OpenAI documenta le due impostazioni come indipendenti e dice che una modifica arriva ai suoi sistemi di ricerca in circa 24 ore. ChatGPT-User, che apre una pagina quando un utente lo chiede, può leggerla in ogni caso.
No. AI Overviews e AI Mode fanno parte della Ricerca Google e le pagine le scansiona Googlebot; Google dice che Google-Extended non incide sulla presenza nella Ricerca. Google-Extended controlla l'addestramento dei modelli Gemini e il grounding in Gemini Apps e Vertex AI. Per limitare cosa le AI Overviews mostrano di una pagina, Google indica nosnippet, data-nosnippet, max-snippet e noindex, che però limitano la pagina anche nei risultati normali.
Sì. Le regole del robots.txt si basano sui percorsi, quindi un gruppo può bloccare / e ammettere una cartella come /press-kit/ o /docs/. Vince il percorso più lungo che corrisponde, come stabilisce l'RFC 9309. Il nuovo token __usage_ai-training della bozza IETF di ottobre 2026 usa le stesse regole per esprimere una preferenza sull'addestramento cartella per cartella. Oggi lo legge Anthropic; per le altre aziende i bot di addestramento vanno ancora nominati.
È una richiesta, e lo standard lo dice: le sue regole non sono una forma di autorizzazione all'accesso. I crawler documentati di OpenAI, Anthropic, Google e Perplexity dichiarano di rispettarlo, ma i lettori attivati dagli utenti possono non farlo, e un'intestazione può fingersi qualsiasi bot. Solo i contenuti dietro un login o una regola del firewall restano davvero fuori dalla portata di un crawler. Se l'addestramento su contenuti pubblici sia lecito nel tuo mercato è una domanda da fare a un avvocato, e il robots.txt non ci risponde.
Articoli correlati
2 maggio 2026 · 12 min di lettura
28 ottobre 2026 · 9 min di lettura
9 agosto 2026 · 6 min di lettura