I crawler IA: chi ti legge, e perché

I crawler IA si dividono in due famiglie con finalità distinte — la raccolta per l'addestramento dei modelli e il recupero in tempo reale per rispondere a una domanda specifica — e si individuano concretamente nei log server del tuo sito, non solo nelle loro dichiarazioni di user-agent.

Due famiglie di crawler IA: addestramento vs recupero in tempo reale

Non tutti i crawler IA perseguono lo stesso obiettivo, il che cambia direttamente il modo in cui trattare ciascuno di essi:

• I crawler di addestramento scandagliano il web per costituire o arricchire i dataset usati nell'addestramento dei futuri modelli. Il loro passaggio non ha effetto immediato sulla tua visibilità nelle risposte generate oggi; riguarda versioni future del modello, su un orizzonte temporale che i fornitori non rendono pubblico.
• I crawler di recupero in tempo reale (spesso chiamati retrieval o browsing) si attivano nel momento in cui un utente pone una domanda che richiede una ricerca web attuale. È questo tipo di crawler che permette a una risposta di ChatGPT, Perplexity o Copilot di citare la tua pagina con un link cliccabile, nell'istante presente.

Bloccare l'uno non ha necessariamente effetto sull'altro: proprio per questo la lezione su robots.txt e il controllo dei crawler IA consiglia di trattarli separatamente anziché come un unico blocco "IA" da autorizzare o bloccare globalmente.

Panoramica dei principali crawler per fornitore

Come punto di riferimento, tenendo presente che questo elenco evolve con gli annunci dei fornitori:

• OpenAI: GPTBot (addestramento), OAI-SearchBot (indicizzazione per la ricerca web di ChatGPT), ChatGPT-User (navigazione attivata da una richiesta utente in diretta).
• Anthropic: ClaudeBot (raccolta, anche per usi legati alla ricerca), oltre a Claude-User e Claude-SearchBot a seconda dei casi d'uso recenti legati alla navigazione.
• Perplexity: PerplexityBot (indicizzazione), Perplexity-User (navigazione in tempo reale attivata da una domanda dell'utente).
• Google: Google-Extended (controlla l'uso da parte dei modelli Gemini), distinto da Googlebot, che gestisce l'indicizzazione di ricerca classica.
• Microsoft: Bingbot, i cui dati alimentano in parte le risposte di Copilot.

Ogni fornitore documenta i propri user-agent sulle proprie pagine tecniche; queste dichiarazioni cambiano nel tempo, conviene ricontrollarle periodicamente piuttosto che affidarsi a un elenco fisso.

Individuare i crawler IA nei log server

Le dichiarazioni di user-agent restano la fonte più affidabile, ma non bastano da sole: un robot può presentarsi con un nome non più aggiornato, oppure un operatore poco scrupoloso può usurpare uno user-agent conosciuto. Per una verifica più approfondita:

1. Accedere ai log server grezzi (tramite il tuo hosting, un accesso FTP/SSH, o uno strumento come Cloudflare, che centralizza questi dati per i siti che lo usano come proxy).
2. Filtrare le richieste per stringa user-agent cercando i nomi noti (GPTBot, ClaudeBot, PerplexityBot, ecc.) con un semplice strumento a riga di comando (grep su un file di log) o una dashboard di analisi log.
3. Incrociare lo user-agent con l'indirizzo IP di origine: i fornitori seri pubblicano intervalli di IP o metodi di verifica (risoluzione DNS inversa) che permettono di confermare che una richiesta proviene davvero da loro e non da un impostore.
4. Annotare la frequenza e le pagine visitate: un crawler che torna regolarmente sulle stesse pagine di contenuto di fondo indica un interesse continuo per quel contenuto, a differenza di un passaggio isolato e unico.

Questa analisi dei log è più tecnica della semplice lettura di Google Search Console, ma offre una visione che né GSC né Bing Webmaster Tools forniscono: la prova concreta che un crawler IA è passato, indipendentemente da qualsiasi indicizzazione o citazione osservata in seguito.

Cosa rivela (e non rivela) la presenza di questi crawler

Vedere un crawler IA nei tuoi log conferma che il tuo sito è accessibile e letto da quel robot — un segnale positivo sul primo anello della catena descritta nella lezione perché tutto inizia dalla tecnica. Questo, però, non garantisce né una futura citazione in una risposta generata, né un giudizio positivo del modello sulla qualità del contenuto: essere letti da un crawler è una condizione necessaria, non sufficiente.

Al contrario, l'assenza totale di un particolare crawler dai tuoi log per un periodo prolungato è un segnale d'allarme che merita una verifica del robots.txt e dell'accessibilità generale del sito, piuttosto che una conclusione affrettata sul disinteresse del fornitore per il tuo contenuto.

Il caso particolare dei siti protetti da un CDN

Se il tuo sito passa attraverso un CDN o un servizio di protezione tipo Cloudflare, i log del tuo hosting di origine possono mostrare solo una frazione del traffico reale, dato che la maggior parte delle richieste viene assorbita e filtrata a monte. In questo caso, è la dashboard del CDN stesso a contenere i dati di crawling più completi, spesso con una categorizzazione già pronta dei robot conosciuti ("Verified bots"), il che semplifica l'identificazione rispetto a un'analisi manuale dei log grezzi.

Passare all'azione con questi dati

Il monitoraggio manuale dei log richiede tempo e competenze tecniche che non tutti i team hanno internamente. Per un approccio strutturato che automatizza questo monitoraggio e lo collega direttamente a un audit del tuo robots.txt, la lezione monitorare i crawler IA e fare l'audit del proprio robots.txt con Vurto illustra come industrializzare questa sorveglianza.

Questo modulo tecnico giunge qui al termine. Il passo logico successivo consiste nell'entrare nel vivo del tema GEO con perché le IA a volte ignorano il tuo sito.