Monitorizar los crawlers de IA y auditar el robots.txt con Vurto
Vurto monitoriza el paso de los crawlers de IA por tu sitio y audita tu robots.txt, para comprobar que tus páginas son realmente accesibles para ellos.
Vurto monitoriza el paso de los crawlers de IA (GPTBot, ClaudeBot, PerplexityBot y otros) por tu sitio y audita tu archivo robots.txt, para comprobar que estos bots pueden acceder realmente a las páginas que quieres ver citadas en las respuestas generativas.
Por qué importa este seguimiento
Un contenido puede estar perfectamente estructurado y ser relevante: si los crawlers de las IA generativas no llegan a él, nunca será citado. El archivo robots.txt y el control de los crawlers de IA son la primera puerta de entrada técnica a tu visibilidad generativa: antes de trabajar el contenido o el scoring semántico de una página, hay que asegurarse de que es accesible para los bots que alimentan ChatGPT, Claude, Gemini o Perplexity.
Lo que muestra Vurto sobre el paso de los crawlers
Vurto registra qué crawlers de IA identificados visitan tu sitio y con qué frecuencia, lo que da una indicación concreta de la atención que los motores generativos ya prestan a tus páginas. Un sitio visitado regularmente por GPTBot, ClaudeBot y PerplexityBot es un sitio explorado activamente como fuente potencial; un sitio donde el paso de estos bots es raro o inexistente en ciertas secciones indica una zona de sombra que corregir antes que nada.
Una señal que se lee en el tiempo, no como una instantánea
El paso de un crawler de IA en un día concreto no dice mucho por sí solo: lo que importa es la regularidad de ese paso a lo largo de varias semanas. Un crawler que visitaba regularmente una sección del sitio y deja de hacerlo bruscamente es una señal que atender con prioridad, incluso sin ningún cambio aparente en el sitio — puede indicar un problema de infraestructura (tiempos de respuesta del servidor, errores técnicos intermitentes) que no está necesariamente ligado al robots.txt. Al contrario, un crawler que nunca ha visitado una sección no indica necesariamente un bloqueo: puede que esa sección simplemente aún no haya sido considerada lo bastante relevante por ese motor como para justificar una exploración más profunda.
La auditoría del robots.txt
Vurto analiza tu archivo robots.txt para identificar si alguna regla bloquea, de forma intencionada o por error, el acceso de los crawlers de IA a todo o parte de tu sitio. Una regla de bloqueo puede ser antigua, heredada de una configuración genérica, y puede que nunca estuviera dirigida específicamente a los bots de IA: es un caso frecuente, sobre todo en sitios cuyo robots.txt no se ha revisado desde la aparición de estos nuevos crawlers. La auditoría permite identificar con precisión qué reglas se aplican a qué bots, en lugar de adivinar a partir de un archivo de texto plano.
Interpretar una ausencia de paso o un bloqueo
Dos situaciones distintas requieren respuestas diferentes. Si el robots.txt bloquea explícitamente un crawler de IA, la solución es directa: ajustar la regla para permitir el acceso a las secciones afectadas. Si, por el contrario, nada bloquea al crawler pero simplemente no pasa, o pasa poco, el problema no es técnico sino editorial o estructural — puede que el sitio aún no se considere una fuente suficientemente relevante o actualizada en tu sector, lo que enlaza con lo tratado en el análisis de tus fuentes de citación.
Qué corregir, y en qué orden
Empezad siempre por los bloqueos explícitos en el robots.txt: son las correcciones más rápidas y de mayor impacto, ya que eliminan un obstáculo total al acceso. Una vez levantados estos bloqueos, vigilad el regreso del paso de los crawlers por las páginas afectadas en las siguientes rondas de análisis — un plazo de unos días a unas semanas antes de ver un efecto en vuestras puntuaciones de visibilidad es normal. Incorporad esta comprobación a vuestro seguimiento semanal: una auditoría de robots.txt solo es útil una vez, pero vigilar que nada se vuelva a bloquear tras una actualización técnica del sitio es un control que conviene repetir con regularidad.
Qué revela una diferencia entre secciones del sitio
El paso de los crawlers no es necesariamente uniforme en todo un sitio. Es frecuente que las páginas de categoría y la página de inicio se visiten con regularidad, mientras que secciones más profundas — fichas de producto individuales, páginas de FAQ, contenidos de blog antiguos — lo son mucho menos. Antes de concluir que hay un problema de acceso, comprobad que estas páginas están realmente enlazadas desde el resto del sitio (enlazado interno, sitemap actualizado): un crawler, de IA o no, solo visita lo que puede alcanzar siguiendo enlaces o leyendo el sitemap. Un simple olvido al actualizar el sitemap tras añadir nuevas fichas de producto puede explicar una ausencia de paso tan bien como un bloqueo en el robots.txt.
Un caso frecuente
Una actualización técnica del sitio (cambio de CMS, migración de hosting, nueva configuración de seguridad) puede reintroducir un bloqueo sin ninguna acción deliberada — un firewall de aplicación o una regla antibot genérica puede tratar a los crawlers de IA como tráfico no deseado. Por eso la auditoría del robots.txt debe seguir siendo un control recurrente y no una verificación puntual hecha una sola vez al principio.