Il file robots.txt e il controllo dei crawler IA

Il file robots.txt, posto nella root del tuo sito, indica a ogni robot quali sezioni può esplorare e quali no — inclusi i crawler delle IA generative, ciascuno identificato dal proprio user-agent (GPTBot, ClaudeBot, PerplexityBot, Google-Extended...) che puoi autorizzare o bloccare in modo indipendente l'uno dall'altro.

Cosa fa (e non fa) il file robots.txt

Il robots.txt dà istruzioni di crawling, non garantisce riservatezza né indicizzazione. Tre precisazioni importanti:

Bloccare un URL nel robots.txt impedisce a un robot rispettoso di esplorarlo, ma non impedisce necessariamente che compaia in un indice se è già conosciuto tramite altri canali (link esterni, ad esempio). Per rimuovere una pagina da un indice, il tag noindex o una richiesta di rimozione tramite Search Console sono gli strumenti adatti, non il robots.txt.
Il file funziona sulla base della buona fede: un robot legittimo e dichiarato (Googlebot, GPTBot, ClaudeBot) rispetta in linea di principio le regole che vi trova, ma nulla impedisce tecnicamente a un robot malevolo o mal programmato di ignorarle.
Le regole si applicano per user-agent: puoi scrivere regole diverse per ogni robot, il che è esattamente ciò che permette di bilanciare SEO classico e GEO.

Sintassi di base

Un file robots.txt è composto da blocchi, ciascuno rivolto a uno o più user-agent:

User-agent: [nome del robot o * per tutti]
Disallow: [percorso bloccato]
Allow: [percorso consentito, ha priorità su un Disallow più generale]

Esempio semplice che blocca una cartella di amministrazione per tutti i robot, ma consente tutto il resto:

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://tuodominio.com/sitemap.xml

La riga Sitemap: alla fine, sebbene facoltativa, è una buona pratica: indica direttamente ai robot dove trovare l'elenco completo delle tue pagine, indipendentemente dall'invio effettuato in Search Console o Bing Webmaster Tools.

I principali user-agent IA da conoscere

Ecco i crawler più comuni a oggi, tenendo presente che questo elenco evolve con il mercato:

GPTBot (OpenAI): usato per la raccolta di contenuti destinata all'addestramento dei modelli.
OAI-SearchBot (OpenAI): dedicato alla funzionalità di ricerca web di ChatGPT, distinto da GPTBot.
ChatGPT-User (OpenAI): si attiva quando un utente chiede esplicitamente a ChatGPT di consultare una pagina in tempo reale.
ClaudeBot e anthropic-ai (Anthropic): raccolta di contenuti da parte di Anthropic.
PerplexityBot: crawling per l'indicizzazione da parte di Perplexity; Perplexity-User interviene per le richieste di navigazione in tempo reale avviate da un utente.
Google-Extended: controlla specificamente l'uso del tuo contenuto da parte dei modelli IA di Google (Gemini), indipendentemente da Googlebot, che gestisce l'indicizzazione classica.
Bingbot copre sia la ricerca classica Bing sia, in una certa misura, i dati usati da Copilot.

Ognuno di questi user-agent può essere targettizzato individualmente nel robots.txt, il che permette ad esempio di autorizzare Googlebot senza autorizzare Google-Extended, o di autorizzare PerplexityBot senza autorizzare GPTBot.

Decidere: consentire, bloccare o differenziare per crawler

La scelta dipende dal tuo obiettivo, e non esiste una risposta universale:

Bloccare un crawler di addestramento (GPTBot, ClaudeBot in raccolta, Google-Extended) riduce l'uso del tuo contenuto per l'addestramento di futuri modelli, ma non ha effetto sulla tua presenza nelle risposte generate in tempo reale da questi stessi assistenti, che spesso passano attraverso un meccanismo di ricerca web distinto.
Bloccare un crawler di ricerca/citazione (OAI-SearchBot, PerplexityBot, Perplexity-User) riduce direttamente le tue possibilità di essere citato nelle risposte di questi strumenti, poiché è questo robot che permette all'IA di scoprire e leggere la tua pagina nel momento in cui risponde a una domanda.
La maggior parte dei siti che cercano di sviluppare la propria visibilità GEO ha interesse ad autorizzare i crawler di ricerca/citazione, e a decidere caso per caso sui crawler di addestramento in base alla propria politica sulla proprietà intellettuale e sui contenuti.

Esempio di robots.txt che blocca l'addestramento ma consente la citazione:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://tuodominio.com/sitemap.xml

Il caso dei firewall e degli strumenti di gestione dei bot

Oltre al file robots.txt in sé, alcuni siti utilizzano un firewall applicativo o un servizio come Cloudflare per bloccare o limitare i robot a livello di rete, indipendentemente da quanto dichiarato nel robots.txt. Queste impostazioni sono a volte attivate per impostazione predefinita con regole di blocco generiche contro i "bot" in generale, il che può bloccare un crawler IA legittimo senza che questo compaia da nessuna parte nel tuo robots.txt. Se noti che un crawler IA che hai esplicitamente autorizzato non compare mai nei tuoi log, controlla queste impostazioni di rete oltre al file robots.txt stesso: i due livelli devono essere allineati perché le tue regole producano l'effetto desiderato.

Verificare e testare il proprio robots.txt

Dopo ogni modifica, verifica il file tramite tuodominio.com/robots.txt direttamente in un browser, e usa il tester robots.txt integrato in Google Search Console (report "Impostazioni" > "robots.txt") per confermare che un determinato URL sia effettivamente consentito o bloccato come previsto. Un errore di sintassi in questo file (un Disallow: / dimenticato sotto lo user-agent sbagliato, ad esempio) può deindicizzare un intero sito per errore — da trattare con lo stesso rigore di una modifica in produzione.

Il robots.txt lavora in tandem con altri due file: la sitemap XML e il file llms.txt, che completano il dispositivo indicando esplicitamente le tue pagine e le tue preferenze alle IA. Per approfondire il tema dei robot stessi, la lezione i crawler IA: chi ti legge, e perché illustra come individuarli direttamente nei tuoi log server, al di là di quanto dichiarano nel loro user-agent.