El archivo robots.txt y el control de los crawlers de IA

El archivo robots.txt, ubicado en la raíz de tu sitio, indica a cada robot qué secciones puede explorar o no — incluidos los crawlers de la IA generativa, cada uno identificado por su propio user-agent (GPTBot, ClaudeBot, PerplexityBot, Google-Extended...) que puedes permitir o bloquear de forma independiente unos de otros.

Lo que hace (y no hace) el archivo robots.txt

Robots.txt da instrucciones de rastreo, no de privacidad ni de indexación garantizada. Tres aclaraciones importantes:

• Bloquear una URL en robots.txt impide que un robot respetuoso la explore, pero no impide necesariamente que aparezca en un índice si ya es conocida por otros medios (enlaces externos, por ejemplo). Para retirar una página de un índice, la etiqueta noindex o una solicitud de eliminación a través de Search Console son las herramientas adecuadas, no robots.txt.
• El archivo funciona sobre la base de la buena fe: un robot legítimo y declarado (Googlebot, GPTBot, ClaudeBot) en principio respeta las reglas que encuentra ahí, pero nada impide técnicamente que un robot malicioso o mal programado las ignore.
• Las reglas se aplican por user-agent: puedes escribir reglas distintas para cada robot, lo que es precisamente lo que permite arbitrar entre SEO clásico y GEO.

Sintaxis básica

Un archivo robots.txt se compone de bloques, cada uno dirigido a uno o varios user-agents:

User-agent: [nombre del robot o * para todos]
Disallow: [ruta bloqueada]
Allow: [ruta permitida, con prioridad sobre un Disallow más general]

Ejemplo sencillo que bloquea una carpeta de administración para todos los robots, pero permite todo lo demás:

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

La línea Sitemap: al final, aunque opcional, es una buena práctica: indica directamente a los robots dónde encontrar la lista completa de tus páginas, con independencia de lo enviado en Search Console o en Bing Webmaster Tools.

Los principales user-agents de IA que conviene conocer

Estos son los crawlers más habituales a día de hoy, teniendo en cuenta que esta lista evoluciona con el mercado:

• GPTBot (OpenAI): usado para recopilar contenido destinado al entrenamiento de los modelos.
• OAI-SearchBot (OpenAI): dedicado a la función de búsqueda web de ChatGPT, distinto de GPTBot.
• ChatGPT-User (OpenAI): se activa cuando un usuario pide explícitamente a ChatGPT que consulte una página en tiempo real.
• ClaudeBot y anthropic-ai (Anthropic): recopilación de contenido por parte de Anthropic.
• PerplexityBot: rastreo para indexación por parte de Perplexity; Perplexity-User actúa en las solicitudes de navegación en tiempo real iniciadas por un usuario.
• Google-Extended: controla específicamente el uso de tu contenido por parte de los modelos de IA de Google (Gemini), de forma independiente a Googlebot, que gestiona la indexación clásica.
• Bingbot cubre tanto la búsqueda clásica de Bing como, hasta cierto punto, los datos que utiliza Copilot.

Cada uno de estos user-agents puede dirigirse individualmente en robots.txt, lo que permite, por ejemplo, permitir Googlebot sin permitir Google-Extended, o permitir PerplexityBot sin permitir GPTBot.

Decidir: permitir, bloquear o diferenciar por crawler

La decisión depende de tu objetivo, y no hay una respuesta universal:

• Bloquear un crawler de entrenamiento (GPTBot, ClaudeBot en su función de recopilación, Google-Extended) reduce el uso de tu contenido para entrenar futuros modelos, pero no tiene efecto sobre tu presencia en las respuestas generadas en tiempo real por esos mismos asistentes, que a menudo pasan por un mecanismo de búsqueda web independiente.
• Bloquear un crawler de búsqueda/citación (OAI-SearchBot, PerplexityBot, Perplexity-User) reduce directamente tus posibilidades de ser citado en las respuestas de esas herramientas, ya que es ese robot el que permite a la IA descubrir y leer tu página en el momento de responder a una pregunta.
• La mayoría de los sitios que buscan desarrollar su visibilidad GEO tienen interés en permitir los crawlers de búsqueda/citación, y decidir caso por caso sobre los crawlers de entrenamiento según su propia política de propiedad intelectual y de contenido.

Ejemplo de robots.txt que bloquea el entrenamiento pero permite la citación:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

El caso de los firewalls y las herramientas de gestión de bots

Más allá del propio archivo robots.txt, algunos sitios usan un firewall de aplicación o un servicio como Cloudflare para bloquear o limitar robots a nivel de red, con independencia de lo declarado en robots.txt. Estos ajustes a veces vienen activados por defecto con reglas de bloqueo amplias contra los «bots» en general, lo que puede bloquear un crawler de IA legítimo sin que ello aparezca en ningún lugar de tu robots.txt. Si detectas que un crawler de IA que has permitido explícitamente nunca aparece en tus logs, revisa estos ajustes de red además del propio archivo robots.txt: ambas capas deben estar alineadas para que tus reglas produzcan el efecto buscado.

Comprobar y probar tu robots.txt

Después de cualquier modificación, verifica el archivo accediendo a tudominio.com/robots.txt directamente en un navegador, y usa el probador de robots.txt integrado en Google Search Console (informe «Configuración» > «robots.txt») para confirmar que una URL concreta está permitida o bloqueada como corresponde. Un error de sintaxis en este archivo (un Disallow: / olvidado bajo el user-agent equivocado, por ejemplo) puede desindexar un sitio entero por error — hay que tratarlo con el mismo rigor que un cambio en producción.

Robots.txt trabaja en conjunto con otros dos archivos: el sitemap XML y el archivo llms.txt, que completan el dispositivo indicando explícitamente tus páginas y tus preferencias a la IA. Para profundizar en el tema de los propios robots, la lección los crawlers de IA: quién te lee y para qué detalla cómo detectarlos directamente en los logs de tu servidor, más allá de lo que declaran en su user-agent.