Monitorare i crawler IA e controllare il robots.txt con Vurto

Vurto monitora il passaggio dei crawler IA (GPTBot, ClaudeBot, PerplexityBot e altri) sul tuo sito e controlla il file robots.txt, per verificare che questi bot possano effettivamente accedere alle pagine che vuoi vedere citate nelle risposte generative.

Perché questo monitoraggio conta

Un contenuto può essere perfettamente strutturato e pertinente: se i crawler delle IA generative non riescono a raggiungerlo, non verrà mai citato. Il file robots.txt e il controllo dei crawler IA sono la prima porta d'accesso tecnica alla tua visibilità generativa: prima di lavorare sul contenuto o sullo scoring semantico di una pagina, bisogna assicurarsi che sia accessibile ai bot che alimentano ChatGPT, Claude, Gemini o Perplexity.

Cosa mostra Vurto sul passaggio dei crawler

Vurto tiene traccia di quali crawler IA identificati visitano il tuo sito e con quale frequenza, offrendo un'indicazione concreta dell'attenzione che i motori generativi già dedicano alle tue pagine. Un sito visitato regolarmente da GPTBot, ClaudeBot e PerplexityBot è un sito attivamente esplorato come potenziale fonte; un sito in cui il passaggio di questi bot è raro o assente in alcune sezioni indica una zona d'ombra da correggere prima di ogni altra cosa.

Un segnale da leggere nel tempo, non in un istante

Il passaggio di un crawler IA in un giorno specifico non dice granché da solo: ciò che conta è la regolarità di questo passaggio su più settimane. Un crawler che visitava regolarmente una sezione del sito e smette bruscamente di farlo è un segnale da trattare con priorità, anche in assenza di qualsiasi cambiamento apparente sul sito — può indicare un problema di infrastruttura (tempi di risposta del server, errori tecnici intermittenti) non necessariamente legato al robots.txt. Al contrario, un crawler che non ha mai visitato una sezione non indica necessariamente un blocco: può semplicemente darsi che quella sezione non sia ancora stata giudicata sufficientemente rilevante dal motore in questione da giustificare un'esplorazione più approfondita.

L'audit del robots.txt

Vurto analizza il tuo file robots.txt per identificare se alcune regole bloccano, intenzionalmente o per errore, l'accesso dei crawler IA a tutto o parte del tuo sito. Una regola di blocco può essere vecchia, ereditata da una configurazione generica, e forse non era mai stata pensata specificamente per i bot IA: è un caso frequente, in particolare sui siti in cui il robots.txt non è stato rivisto dall'arrivo di questi nuovi crawler. L'audit permette di individuare con precisione quali regole si applicano a quali bot, invece di indovinare a partire da un file di testo grezzo.

Interpretare un'assenza di passaggio o un blocco

Due situazioni distinte richiedono risposte diverse. Se il robots.txt blocca esplicitamente un crawler IA, la correzione è diretta: modificare la regola per consentire l'accesso alle sezioni interessate. Se invece nulla blocca il crawler ma questo semplicemente non passa, o passa poco, il problema non è tecnico ma editoriale o strutturale — il sito forse non è ancora considerato una fonte sufficientemente rilevante o aggiornata nel tuo settore, il che si ricollega ai temi trattati nell'analisi delle tue fonti di citazione.

Cosa correggere, e in quale ordine

Iniziate sempre dai blocchi espliciti nel robots.txt: sono le correzioni più rapide e a maggior impatto, poiché eliminano un ostacolo totale all'accesso. Una volta rimossi questi blocchi, monitorate il ritorno del passaggio dei crawler sulle pagine interessate nelle successive ondate di analisi — un ritardo da qualche giorno a qualche settimana prima di vedere un effetto sui vostri punteggi di visibilità è normale. Integrate questo controllo nel vostro monitoraggio settimanale: un audit robots.txt è utile una sola volta, ma verificare che nulla si riblocchi dopo un aggiornamento tecnico del sito è un controllo da ripetere regolarmente.

Cosa rivela una differenza tra le sezioni del sito

Il passaggio dei crawler non è necessariamente uniforme su tutto un sito. È frequente che le pagine categoria e la homepage siano visitate regolarmente, mentre sezioni più profonde — schede prodotto singole, pagine FAQ, contenuti di blog datati — lo siano molto meno. Prima di concludere che c'è un problema di accesso, verificate che queste pagine siano effettivamente collegate dal resto del sito (link interni, sitemap aggiornata): un crawler, IA o meno, visita solo ciò che può raggiungere seguendo dei link o leggendo la sitemap. Una semplice dimenticanza nell'aggiornamento della sitemap dopo l'aggiunta di nuove schede prodotto può spiegare un'assenza di passaggio tanto quanto un blocco nel robots.txt.

Un caso frequente

Un aggiornamento tecnico del sito (cambio di CMS, migrazione di hosting, nuova configurazione di sicurezza) può reintrodurre un blocco senza alcuna azione volontaria — un firewall applicativo o una regola anti-bot generica può trattare i crawler IA come traffico indesiderato. È per questo motivo che l'audit robots.txt deve rimanere un controllo ricorrente piuttosto che una verifica puntuale fatta una sola volta all'avvio.