Le fichier robots.txt et le contrôle des crawlers IA

Le fichier robots.txt, placé à la racine de votre site, indique à chaque robot quelles sections il peut explorer ou non — y compris les crawlers des IA génératives, chacun identifié par son propre user-agent (GPTBot, ClaudeBot, PerplexityBot, Google-Extended...) que vous pouvez autoriser ou bloquer indépendamment les uns des autres.

Ce que fait (et ne fait pas) le fichier robots.txt

Le robots.txt donne des instructions de crawl, pas de confidentialité ni d'indexation garantie. Trois précisions importantes :

Bloquer une URL dans robots.txt empêche un robot respectueux de l'explorer, mais ne l'empêche pas nécessairement d'apparaître dans un index si elle est déjà connue par d'autres moyens (des liens externes, par exemple). Pour retirer une page d'un index, la balise noindex ou une suppression via Search Console sont les outils adaptés, pas robots.txt.
Le fichier fonctionne sur la base de la bonne foi : un robot légitime (Googlebot, GPTBot, ClaudeBot déclarés) respecte en principe les règles qu'il y trouve, mais rien n'empêche techniquement un robot malveillant ou mal codé de les ignorer.
Les règles s'appliquent par user-agent : vous pouvez écrire des règles différentes pour chaque robot, ce qui est précisément ce qui permet d'arbitrer entre SEO classique et GEO.

Syntaxe de base

Un fichier robots.txt se compose de blocs, chacun ciblant un ou plusieurs user-agents :

User-agent: [nom du robot ou * pour tous]
Disallow: [chemin bloqué]
Allow: [chemin autorisé, prioritaire sur un Disallow plus général]

Exemple simple qui bloque un dossier d'administration pour tous les robots, mais autorise tout le reste :

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://votredomaine.com/sitemap.xml

La ligne Sitemap: à la fin, bien que facultative, est une bonne pratique : elle indique directement aux robots où trouver la liste complète de vos pages, indépendamment de la soumission faite dans Search Console ou Bing Webmaster Tools.

Les principaux user-agents IA à connaître

Voici les crawlers les plus courants à ce jour, sachant que cette liste évolue avec le marché :

GPTBot (OpenAI) : utilisé pour la collecte de contenu destinée à l'entraînement des modèles.
OAI-SearchBot (OpenAI) : dédié à la fonctionnalité de recherche web de ChatGPT, distinct de GPTBot.
ChatGPT-User (OpenAI) : se déclenche lorsqu'un utilisateur demande explicitement à ChatGPT de consulter une page en temps réel.
ClaudeBot et anthropic-ai (Anthropic) : collecte de contenu par Anthropic.
PerplexityBot : crawl pour indexation par Perplexity ; Perplexity-User intervient pour les requêtes de navigation en temps réel initiées par un utilisateur.
Google-Extended : contrôle spécifiquement l'usage de votre contenu par les modèles d'IA de Google (Gemini), indépendamment de Googlebot qui gère l'indexation classique.
Bingbot couvre à la fois la recherche classique Bing et, dans une certaine mesure, les données utilisées par Copilot.

Chacun de ces user-agents peut être ciblé individuellement dans robots.txt, ce qui permet par exemple d'autoriser Googlebot sans autoriser Google-Extended, ou d'autoriser PerplexityBot sans autoriser GPTBot.

Arbitrer : autoriser, bloquer, ou différencier par crawler

L'arbitrage dépend de votre objectif, et il n'y a pas de réponse universelle :

Bloquer un crawler d'entraînement (GPTBot, ClaudeBot en collecte, Google-Extended) réduit l'usage de votre contenu pour l'entraînement de futurs modèles, mais n'a pas d'effet sur votre présence dans les réponses générées en temps réel par ces mêmes assistants, qui passent souvent par un mécanisme de recherche web distinct.
Bloquer un crawler de recherche/citation (OAI-SearchBot, PerplexityBot, Perplexity-User) réduit directement vos chances d'être cité dans les réponses de ces outils, puisque c'est ce robot qui permet à l'IA de découvrir et de lire votre page au moment de répondre à une question.
La plupart des sites qui cherchent à développer leur visibilité GEO ont intérêt à autoriser les crawlers de recherche/citation, et à arbitrer au cas par cas sur les crawlers d'entraînement selon leur politique de propriété intellectuelle et de contenu.

Exemple de robots.txt qui bloque l'entraînement mais autorise la citation :

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://votredomaine.com/sitemap.xml

Le cas des pare-feux et outils de gestion des bots

Au-delà du fichier robots.txt lui-même, certains sites utilisent un pare-feu applicatif ou un service comme Cloudflare pour bloquer ou limiter des robots au niveau du réseau, indépendamment de ce qui est déclaré dans robots.txt. Ces réglages sont parfois activés par défaut avec des règles de blocage larges contre les « bots » en général, ce qui peut bloquer un crawler IA légitime sans que cela apparaisse nulle part dans votre robots.txt. Si vous constatez qu'un crawler IA que vous avez explicitement autorisé n'apparaît jamais dans vos logs, vérifiez ces réglages réseau en plus du fichier robots.txt lui-même : les deux couches doivent être alignées pour que vos règles produisent l'effet recherché.

Vérifier et tester son robots.txt

Après toute modification, vérifiez le fichier via votredomaine.com/robots.txt directement dans un navigateur, et utilisez le testeur robots.txt intégré à Google Search Console (rapport « Paramètres » > « robots.txt ») pour confirmer qu'une URL précise est bien autorisée ou bloquée comme prévu. Une erreur de syntaxe dans ce fichier (un Disallow: / oublié sous le mauvais user-agent, par exemple) peut désindexer un site entier par erreur — à traiter avec la même rigueur qu'une modification de production.

Le robots.txt travaille en tandem avec deux autres fichiers : le sitemap XML et le fichier llms.txt, qui complètent le dispositif en indiquant explicitement vos pages et vos préférences aux IA. Pour aller plus loin sur le sujet des robots eux-mêmes, la leçon les crawlers IA : qui vous lit, pour quoi faire détaille comment les repérer directement dans vos logs serveur, au-delà des déclarations qu'ils font dans leur user-agent.