Die robots.txt-Datei und die Steuerung von KI-Crawlern

Die robots.txt-Datei im Stammverzeichnis Ihrer Website teilt jedem Bot mit, welche Bereiche er crawlen darf und welche nicht – einschließlich der Crawler generativer KI, von denen jeder durch seinen eigenen User-Agent identifiziert wird (GPTBot, ClaudeBot, PerplexityBot, Google-Extended ...), die Sie unabhängig voneinander erlauben oder blockieren können.

Was die robots.txt-Datei tut (und nicht tut)

Die robots.txt gibt Crawling-Anweisungen, keine Garantie für Datenschutz oder Indexierung. Drei wichtige Klarstellungen:

• Das Blockieren einer URL in der robots.txt hindert einen regelkonformen Bot am Crawlen, verhindert aber nicht zwangsläufig, dass sie in einem Index erscheint, falls sie bereits auf anderem Weg bekannt ist (etwa durch externe Links). Um eine Seite tatsächlich aus einem Index zu entfernen, sind das noindex-Tag oder eine Entfernung über die Search Console die richtigen Werkzeuge, nicht die robots.txt.
• Die Datei funktioniert nach dem Prinzip von Treu und Glauben: Ein legitimer, deklarierter Bot (Googlebot, GPTBot, ClaudeBot) hält sich grundsätzlich an die dort gefundenen Regeln, aber technisch hindert nichts einen bösartigen oder schlecht programmierten Bot daran, sie zu ignorieren.
• Die Regeln gelten pro User-Agent: Sie können für jeden Bot unterschiedliche Regeln schreiben – genau das erlaubt Ihnen, zwischen klassischem SEO und GEO zu differenzieren.

Grundlegende Syntax

Eine robots.txt-Datei besteht aus Blöcken, die jeweils einen oder mehrere User-Agents ansprechen:

User-agent: [Name des Bots oder * für alle]
Disallow: [blockierter Pfad]
Allow: [erlaubter Pfad, hat Vorrang vor einem allgemeineren Disallow]

Einfaches Beispiel, das einen Admin-Ordner für alle Bots blockiert, aber alles andere erlaubt:

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://ihredomain.com/sitemap.xml

Die Zeile Sitemap: am Ende ist zwar optional, aber empfehlenswert: Sie zeigt Bots direkt, wo sie die vollständige Liste Ihrer Seiten finden – unabhängig von einer Einreichung über die Search Console oder Bing Webmaster Tools.

Die wichtigsten KI-User-Agents im Überblick

Hier die derzeit gängigsten Crawler, wobei sich diese Liste mit dem Markt weiterentwickelt:

• GPTBot (OpenAI): dient der Inhaltssammlung für das Training der Modelle.
• OAI-SearchBot (OpenAI): für die Websuchfunktion von ChatGPT, getrennt von GPTBot.
• ChatGPT-User (OpenAI): wird ausgelöst, wenn ein Nutzer ChatGPT explizit bittet, eine Seite in Echtzeit aufzurufen.
• ClaudeBot und anthropic-ai (Anthropic): Inhaltssammlung durch Anthropic.
• PerplexityBot: Crawling zur Indexierung durch Perplexity; Perplexity-User kommt bei Echtzeit-Navigationsanfragen zum Einsatz, die von einem Nutzer ausgelöst werden.
• Google-Extended: steuert speziell die Nutzung Ihrer Inhalte durch Googles KI-Modelle (Gemini), unabhängig von Googlebot, der die klassische Indexierung übernimmt.
• Bingbot deckt sowohl die klassische Bing-Suche als auch, in gewissem Umfang, die Daten ab, die Copilot nutzt.

Jeder dieser User-Agents lässt sich in der robots.txt einzeln ansprechen, sodass Sie beispielsweise Googlebot erlauben können, ohne Google-Extended zu erlauben, oder PerplexityBot erlauben können, ohne GPTBot zu erlauben.

Entscheiden: erlauben, blockieren oder nach Crawler differenzieren

Die richtige Entscheidung hängt von Ihrem Ziel ab, eine universelle Antwort gibt es nicht:

• Das Blockieren eines Trainings-Crawlers (GPTBot, ClaudeBot bei der Sammlung, Google-Extended) reduziert die Nutzung Ihrer Inhalte für das Training künftiger Modelle, hat aber keinen Effekt auf Ihre Präsenz in den in Echtzeit generierten Antworten derselben Assistenten, die oft über einen separaten Websuche-Mechanismus laufen.
• Das Blockieren eines Such-/Zitations-Crawlers (OAI-SearchBot, PerplexityBot, Perplexity-User) verringert direkt Ihre Chancen, in den Antworten dieser Tools zitiert zu werden, da genau dieser Bot der KI ermöglicht, Ihre Seite im Moment der Beantwortung einer Frage zu entdecken und zu lesen.
• Die meisten Websites, die ihre GEO-Sichtbarkeit ausbauen möchten, tun gut daran, Such-/Zitations-Crawler zu erlauben und bei Trainings-Crawlern von Fall zu Fall zu entscheiden, je nach ihrer eigenen Politik zu geistigem Eigentum und Inhalten.

Beispiel einer robots.txt, die das Training blockiert, die Zitation aber erlaubt:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://ihredomain.com/sitemap.xml

Der Fall von Firewalls und Bot-Management-Tools

Über die robots.txt-Datei selbst hinaus nutzen manche Websites eine Web Application Firewall oder einen Dienst wie Cloudflare, um Bots auf Netzwerkebene zu blockieren oder zu drosseln – unabhängig davon, was in der robots.txt deklariert ist. Diese Einstellungen sind manchmal standardmäßig mit breiten Blockierregeln gegen „Bots" im Allgemeinen aktiviert, was einen legitimen KI-Crawler blockieren kann, ohne dass dies in Ihrer robots.txt irgendwo sichtbar wäre. Stellen Sie fest, dass ein von Ihnen explizit erlaubter KI-Crawler nie in Ihren Logs auftaucht, prüfen Sie diese Netzwerkeinstellungen zusätzlich zur robots.txt-Datei selbst: Beide Ebenen müssen aufeinander abgestimmt sein, damit Ihre Regeln die gewünschte Wirkung erzielen.

Die robots.txt prüfen und testen

Prüfen Sie die Datei nach jeder Änderung direkt über ihredomain.com/robots.txt im Browser, und nutzen Sie den in die Google Search Console integrierten robots.txt-Tester (Bericht „Einstellungen" > „robots.txt"), um zu bestätigen, dass eine bestimmte URL wie vorgesehen erlaubt oder blockiert ist. Ein Syntaxfehler in dieser Datei (etwa ein vergessenes Disallow: / unter dem falschen User-Agent) kann eine gesamte Website versehentlich deindexieren – behandeln Sie sie daher mit derselben Sorgfalt wie eine Produktionsänderung.

Die robots.txt arbeitet im Tandem mit zwei weiteren Dateien: der XML-Sitemap und der llms.txt-Datei, die das System ergänzen, indem sie KI-Systemen explizit Ihre Seiten und Präferenzen mitteilen. Um mehr über die Bots selbst zu erfahren, beschreibt die Lektion KI-Crawler: wer Sie liest, und wofür im Detail, wie Sie sie direkt in Ihren Server-Logs erkennen – über das hinaus, was sie in ihrem User-Agent angeben.