Die llms.txt-Datei und die XML-Sitemap

Die llms.txt-Datei ist ein aufkommender, nicht universell etablierter Standard, der eine strukturierte Markdown-Zusammenfassung Ihrer Website für generative KI-Systeme bietet; die XML-Sitemap hingegen bleibt der etablierte und weit unterstützte Standard, um Suchmaschinen die Gesamtheit der zu crawlenden Seiten mitzuteilen. Beide erfüllen unterschiedliche Aufgaben und ergänzen sich, statt sich zu ersetzen.

Was llms.txt ist

2024 vorgeschlagen, ist llms.txt eine Textdatei im Markdown-Format, die im Stammverzeichnis der Website liegt (ihredomain.com/llms.txt) und einer generativen KI eine kompakte, gut lesbare Zusammenfassung des Website-Inhalts geben soll: eine Übersicht, die Hauptbereiche, Links zu den wichtigsten Seiten oder Dokumenten. Die zugrunde liegende Idee ist, einen kompakten Einstiegspunkt zu bieten, der für ein Sprachmodell leichter zu verarbeiten ist als ein vollständiges Crawlen der Website.

Es handelt sich nicht um einen offiziellen, von den großen KI-Anbietern übernommenen oder bestätigten Standard – OpenAI, Anthropic, Google und Perplexity haben keine formale Verpflichtung kommuniziert, ihn systematisch zu nutzen. Es ist ein Vorschlag aus der Community, getragen insbesondere von Akteuren des Entwickler-Ökosystems, der an Nutzung gewinnt, ohne eine Garantie für Berücksichtigung zu sein.

Was es heute leistet (und seine Grenzen)

Konkret garantiert die Veröffentlichung einer llms.txt keine bessere Zitierung in KI-Antworten: Kein großer Anbieter hat bestätigt, dass seine Modelle oder Crawler diese Datei systematisch beim Beantworten einer Nutzeranfrage konsultieren. Was man heute realistischerweise davon erwarten kann:

• Ein Signal guter Praxis und klarer Strukturierung, nützlich, falls Tools sich künftig stärker darauf verlassen sollten.
• Eine nützliche Ressource für Fälle, in denen ein Entwickler oder ein speziell konfigurierter KI-Agent diese Datei explizit sucht (etwa bestimmte Coding-Assistenten, die sie nutzen, um die Dokumentation eines Projekts zu verstehen).
• Eine Klärungsübung an sich: Das Verfassen einer llms.txt zwingt dazu, zu bündeln, was auf der Website wirklich zählt – ein Wert, der unabhängig davon besteht, ob eine KI die Datei tatsächlich liest.

Sie ersetzt in keinem Fall die XML-Sitemap, die robots.txt oder ein korrekt implementiertes Schema.org-Markup, die bis heute die am besten etablierten Hebel bleiben.

Wie Sie eine llms.txt erstellen und strukturieren

Das vorgeschlagene Format bleibt einfach, in Markdown:

# Name der Website

> Kurze Beschreibung in ein bis zwei Sätzen zur Tätigkeit und zum Nutzen der Website.

## Dokumentation
- [Name der Seite](https://ihredomain.com/seite): einzeilige Beschreibung

## Ressourcen
- [Name der Ressource](https://ihredomain.com/ressource): einzeilige Beschreibung

Für eine Content-Website (etwa einen Blog oder ein Ressourcen-Center) bevorzugen Sie eine Liste Ihrer wichtigsten Guides oder Artikel gegenüber einer vollständigen Auflistung aller Seiten – das Ziel ist, zu bündeln, nicht die Sitemap zu duplizieren. Einen universellen automatischen Generator für alle CMS gibt es bislang nicht: Die manuelle oder halbautomatische Erstellung (durch Extraktion Ihrer wichtigsten Titel und Meta-Beschreibungen) bleibt die zuverlässigste Methode.

Erinnerung an die XML-Sitemap und Best Practices

Die XML-Sitemap ist ihrerseits ein Standard, der seit Langem von allen großen Suchmaschinen unterstützt wird. Ein paar Best Practices, die Sie prüfen sollten:

• Auf 50.000 URLs und 50 MB unkomprimiert pro Datei begrenzen: Darüber hinaus einen Sitemap-Index verwenden, der auf mehrere Sitemaps verweist.
• Nur kanonische, indexierbare und aktuelle URLs einschließen: Eine Sitemap mit noindex-Seiten, Weiterleitungen oder 404-Fehlern sendet ein negatives Qualitätssignal.
• Automatisch über das CMS aktualisieren statt manuell, um Abweichungen zu den tatsächlich veröffentlichten Seiten zu vermeiden.
• Das Datum der letzten Änderung (<lastmod>) zuverlässig angeben, da manche Suchmaschinen es zur Priorisierung des erneuten Crawlings nutzen.

Wo diese Dateien platziert werden und wie Sie sie aktuell halten

Beide Dateien folgen derselben Platzierungslogik: im Stammverzeichnis der Domain, direkt erreichbar (ihredomain.com/llms.txt, ihredomain.com/sitemap.xml), ohne Authentifizierung oder Weiterleitung. Bei der Sitemap ist die automatische Aktualisierung über das CMS fast immer möglich und vorzuziehen. Bei der llms.txt, die eher ein redaktionelles Dokument bleibt, genügt in den meisten Fällen eine vierteljährliche manuelle Überarbeitung, um neu veröffentlichte, grundlegende Inhalte widerzuspiegeln – es ist nicht nötig, sie bei jedem neuen Artikel neu zu erstellen, solange sich die Gesamtstruktur der Website nicht geändert hat.

Die beiden Dateien: ergänzend, nicht konkurrierend

Die XML-Sitemap sagt „hier sind alle meine Seiten, crawlt sie"; llms.txt sagt in ihrer heutigen Bestimmung eher „hier ist das Wesentliche, das Sie verstehen sollten, wenn Sie meine Website schnell zusammenfassen müssen". Beide zu veröffentlichen kostet in der Umsetzung praktisch nichts und deckt beide Logiken ab, ohne auf die künftige Verbreitung des einen oder anderen wetten zu müssen.

Mit robots.txt, Sitemap und llms.txt an ihrem Platz ist die technische Ebene der Crawler-Steuerung vollständig. Es bleibt, genauer zu verstehen, wer Sie liest und wofür, und anschließend zu den technischen SEO-Grundlagen überzugehen, um zu betrachten, wie der Inhalt selbst interpretiert wird, sobald er zugänglich ist.