llms.txt-Studie: 97 % der Dateien werden nie gelesen

Wir haben das geändert.

Mit Ahrefs Web Analytics und Bot Analytics haben wir Server-Logs und Live-Traffic von 137.000 Domains ausgewertet – inklusive aller User Agents, die auf diese Domains zugegriffen haben.

Ende Mai 2026 hat Google innerhalb einer Woche beide Seiten der llms.txt-Debatte bedient. Der neue Leitfaden zur Optimierung für generative KI-Funktionen stellte in einem Abschnitt namens "Widerlegung von Mythen" klar, dass maschinenlesbare Dateien wie llms.txt nicht notwendig sind, um in generativer KI-Suche aufzutauchen.

Wenige Tage später hat das Chrome-Team einen llms.txt-Check in Lighthouse's experimentelle Agentic-Browsing-Audits integriert – mit der Begründung, dass Agents ohne die Datei mehr Zeit damit verbringen, eine Website zu crawlen, um ihre Struktur zu verstehen.

Als Lily Ray, Gründerin von Algorythmic, Google's John Mueller auf den Widerspruch ansprach, erklärte er, llms.txt sei "not done for search", also nicht für die Suche gemacht, sondern eine vorübergehende Hilfe, um bei KI-Coding-Tools Tokens zu sparen, wenn diese Entwicklerdokumentation verarbeiten. Für alles andere sei die Datei nicht relevant.

Mueller fügte hinzu, dass wer die eigenen Logs prüfe, dort sehr wenig KI-Agenten-Traffic finden werde.

Also wollten wir das selbst testen.

Unsere Studie umfasst alle 137.210 Domains, die im Mai 2026 Traffic über Ahrefs Web Analytics erhalten haben.

Für jede dieser Domains haben wir geprüft, ob unter dem Root-Verzeichnis eine llms.txt-Datei mit HTTP-Status 200 erreichbar ist. Anschließend haben wir mit Ahrefs Bot Analytics sämtliche Anfragen an /llms.txt-Pfade in dieser Population ausgewertet – aufgeteilt nach HTTP-Response (200 vs. 404) und klassifiziert nach Kanal sowie individuellem User Agent.

Um Soft-404s und Scheindateien auszuschließen, haben wir zusätzlich verifiziert, dass jede Datei tatsächlich in Markdown vorliegt und kein getarntes HTML ist. Außerdem haben wir Titel und Inhalt auf Fehlersignale wie „404" oder „Page not found" geprüft.

Zwei Einschränkungen sind wichtig zu nennen:

Google Search sagt, du brauchst sie nicht. Das Chrome-Team prüft, ob du sie hast. Und John Mueller nennt sie ein Übergangslösung für Coding-Tools. Die Botschaften könnten widersprüchlicher kaum sein.

Wie weit ist llms.txt also tatsächlich verbreitet? Unter den 137.000 Domains in unserer Studie publiziert mehr als jede vierte eine solche Datei – konkret: 28 % oder rund 38.000 Domains.

Das ist bemerkenswert, wenn man bedenkt, dass keine einzige große KI-Plattform je verbindlich bestätigt hat, diese Datei zu lesen.

Die Verbreitung wurde nicht durch Gewissheit angetrieben, sondern durch Spekulation: die Hoffnung, dass KI-Plattformen die Datei irgendwann auswerten könnten. Ein klares Bekenntnis dazu gibt es bis heute nicht.

Fast jede llms.txt-Datei in unserer Studie wird nie gelesen.

Von den rund 38.000 Domains mit einer gültigen Datei verzeichneten 97 % im Mai 2026 keinerlei Anfragen dafür.

Keine Bots. Keine Menschen. Nichts.

Die verbleibenden 3 % – rund 1.100 Domains – vereinen den gesamten gemessenen llms.txt-Traffic auf sich.

Unsere Daten geben John Mueller recht. Wer seine Server-Logs prüft, findet nicht nur kaum KI-Traffic – er findet schlicht kaum Traffic, egal woher. Wer heute eine llms.txt veröffentlicht, muss damit rechnen, dass sie mit überwältigender Wahrscheinlichkeit niemals abgerufen wird.

Die 3 % der Dateien, die tatsächlich gelesen werden, ziehen allerdings interessante Besucher an. Denen widmen wir uns im Rest der Studie.

llms.txt-Dateien sind für Maschinen geschrieben – und Maschinen sind fast die einzigen, die sie lesen.

Bei den Dateien, die überhaupt Traffic erhielten, kamen 96 % der Anfragen von Bots. Menschen machten gerade einmal 4 % aus – und ein guter Teil davon dürfte auf SEOs zurückzuführen sein, die llms.txt-Links in Chat-Apps geteilt haben, wo Vorschau-Bots den Link automatisch abrufen.

Slackbot hat llms.txt-Dateien häufiger abgerufen als PerplexityBot.

Das ist keine Randnotiz. Perplexity ist genau die Art von KI-Suchmaschine, für die llms.txt eigentlich gedacht sein soll. Dass ein Chat-Link-Vorschau-Bot mehr Anfragen schickt als Perplexity, sagt ziemlich viel darüber aus, wie viel echtes KI-Suchinteresse diese Dateien tatsächlich erzeugen.

Viele Websites veröffentlichen eine llms.txt genau deshalb, weil sie sich erhoffen, in ChatGPT-Antworten aufzutauchen, Perplexity-Zitierungen zu bekommen oder in AI Overviews zu landen.

Die Daten zeichnen ein anderes Bild: 77 % der Bots, die llms.txt-Dateien abrufen, sind gar keine KI-Tools.

Um zu verstehen, wer hier eigentlich anklopft, haben wir jeden einzelnen User Agent klassifiziert – in zwölf Kategorien:

Die Kategorie SEO-Audit-Tools enthält auch Ahrefs' eigene Crawler (SiteAuditBot, Ahrefs Bot und Ahrefs Site Audit), die zusammen 2.334 Anfragen ausmachen (10,6 % der Gesamtzahl). Ohne diese entfallen 11,1 % auf Drittanbieter-SEO-Audit-Tools. Die Bot-Kategorien summieren sich auf 96 % aller Anfragen; die verbleibenden 4 % (930 Anfragen) stammen von Menschen.

Einzeln betrachtet schafft es keine KI-Bot-Kategorie in die Top 4.

SEO-Audit-Tools (21,7 %), Sonstige und nicht identifizierte Bots (14,9 %), allgemeine Web-Crawler (13,1 %) und Tech-Profiling-Tools (11,6 %) senden allesamt mehr Anfragen als jeder einzelne KI-Bot.

Die größte einzelne KI-Kategorie, KI-Agenten, liegt mit 10,5 % auf Platz 5.

Fasst man alle vier KI-Kategorien zusammen (Training-Crawler, Retrieval-Bots, Assistenten und Agenten), wird KI insgesamt zur größten Gruppe – mit 19,5 %.

Der Bot-Traffic lässt sich in drei Geschichten aufteilen:

Dazu gleich mehr.

Von den Anfragen, die tatsächlich bei llms.txt-Dateien ankommen, entfallen 19,5 % auf bekannte KI-Bots — und damit sind sie die größte einzeln identifizierbare Gruppe. Aber schon beim genauen Hinschauen verschieben sich die Erwartungen.

Wir haben die KI-Bots in vier Untergruppen aufgeteilt:

So verteilen sich die Anfragen auf diese Gruppen:

*statespace-indexer: Betreiber identifiziert als Statespace (Agentic-Infrastruktur), IP-Bereiche unbestätigt.

KI-Agenten und agentische Infrastruktur treiben 10,5 % aller llms.txt-Anfragen — mehr als jede andere KI-Bot-Kategorie.

Das deckt sich mit dem, was in der Branche schon länger vermutet wird. John Mueller hat llms.txt als Hilfsmittel für KI-Coding-Agents beschrieben.

Chris Long, Gründer von Nectiv, hat ebenfalls darauf hingewiesen, dass die Datei dann nützlich ist, wenn Kunden "Claude Code nutzen, um Empfehlungen einzuholen."

Unsere Bot Analytics Daten bestätigen beide Einschätzungen.

Die llms.txt-Datei wird also viel häufiger von agentischen Tools abgerufen, die strukturierte Informationen suchen oder im Nutzerauftrag handeln, als von den Such- und KI-Bots, die eigentlich für Sichtbarkeit zuständig sein sollen.

*statespace-indexer: Betreiber identifiziert als Statespace (Agentic-Infrastruktur), IP-Bereiche unbestätigt.

llms.txt füttert Trainingsdaten häufiger als KI-Suchanfragen. Konkret: KI-Trainingscrawler rufen die Datei fast fünfmal so oft ab wie KI-Retrieval-Bots.

Falls llms.txt deine KI-Sichtbarkeit überhaupt beeinflusst, dann eher vorgelagert beim Modelltraining — nicht beim Abruf.

Unter den Trainingscrawlern ist GPTBot mit Abstand der aktivste. Einen Gemini-Crawler wirst du in der Liste nicht finden: Google trainiert Gemini über den regulären Googlebot und Google-Extended, der als robots.txt-Token und nicht als eigenständiger Crawler funktioniert. Googlebot hat llms.txt-Dateien im Mai zwar rund 900-mal abgerufen — aber er crawlt schlicht jede URL, die er auf einer Website entdeckt. Kein Hinweis auf besonderes Interesse an der Datei.

Das ist die Zahl, die man sich merken sollte. OAI-SearchBot, PerplexityBot und Claudes Suchcrawler kamen zusammen auf nur ein paar Hundert Abrufe — über Tausende von Websites hinweg.

KI-Retrieval-Bots zusammen mit KI-Assistenten und Trainingscrawlern kommen auf gerade mal 8,9 % der Anfragen — 1,6 Prozentpunkte weniger als KI-Agenten allein.

Wer llms.txt erstellt, weil er sich davon mehr KI-Zitierungen erhofft, sollte diese Zahlen im Hinterkopf behalten.

Rund um llms.txt hat sich ein ganzes Ökosystem gebildet – zum Auditieren, Bewerten, Validieren und Erforschen des Standards. Und das, bevor überhaupt geklärt ist, ob eine einzige große KI-Plattform die Datei tatsächlich liest.

Drei Bot-Kategorien sind dafür verantwortlich: zusammen machen sie 12 % aller Anfragen aus.

Kommerzielle Tools scannen Websites und bewerten ihre Bereitschaft für KI-Suche und Agentenentdeckung – mit der Präsenz einer llms.txt-Datei als einem von vielen Signalen.

Der aktivste Bot in dieser Kategorie ist CairrotReadinessBot, der zu Cairrot gehört – einer WordPress-fokussierten AEO-Plattform, die Ende 2025 gestartet ist.

Dazu kommen Website-Builder wie Framer, Lovable und Wix, die KI-Bereitschaftsprüfungen bereits in ihre Produkte integriert haben.

llms.txt-Adoption ist damit zum Plattform-Standard geworden, bevor sie überhaupt zur bewussten Entscheidung von Website-Betreibern wurde.

Es gibt ein eigenes Ökosystem aus Tools, das ausschließlich llms.txt-Dateien katalogisiert – also genau die Dateien, die sonst kaum jemand liest.

Dedizierte Scanner, Validatoren und Verzeichnisse, die ausschließlich für llms.txt gebaut wurden, schicken mehr Anfragen als KI-Retrieval-Bots und KI-Assistenten zusammen.

Der größte einzelne Research-Crawler im Datensatz identifiziert sich als prompt-injection-survey/1.0.

Jemand untersucht systematisch, ob llms.txt-Dateien als Einfallstor für Prompt Injection missbraucht werden können – also für Angriffe auf KI-Agenten, die diese Dateien von Natur aus als vertrauenswürdig einstufen.

Die Sicherheitsimplikationen, die entstehen, wenn Agenten llms.txt-Dateien blind vertrauen, werden in der Branche kaum diskutiert. Und doch sind potenzielle Angreifer bereits dabei, das Terrain zu erkunden.

KI-Tools suchen nie aktiv nach llms.txt-Dateien, die nicht vorhanden sind. Eine llms.txt zu veröffentlichen bringt dich also nicht automatisch auf den Radar irgendeines KI-Systems.

Wir haben jede Anfrage an /llms.txt-Pfade analysiert, die einen 404-Status zurückgegeben hat – und dabei die sauberste Aufteilung gefunden, die uns in Bot-Daten je begegnet ist:

Die Menschen, die nach nicht vorhandenen llms.txt-Dateien suchen, tippen die URL manuell in den Browser – vermutlich SEOs, die Konkurrenz-Domains prüfen.

Das räumt mit einer hartnäckigen Annahme auf: KI-Systeme jagen nicht aktiv nach llms.txt-Dateien. Eine Website ohne die Datei verpasst also keinen Besuch, der ohnehin nie stattgefunden hätte.

KI-Tools rufen llms.txt nur dann ab, wenn ein Link, ein Index oder eine explizite Nutzeranweisung ihnen sagt, dass die Datei existiert. Spekulativ suchen sie nie danach.

Wenn dein Ziel ist, in ChatGPT, Perplexity oder KI-Übersichten aufzutauchen, ist eine llms.txt-Datei im Wesentlichen Dekoration.

KI-Suchbots rufen sie kaum ab, kein KI-System sucht aktiv nach ihnen, und 97 % der vorhandenen Dateien ziehen überhaupt keine Leser an. Dazu kommt: Abrufe sind das großzügigste Maß. Ob Bots dann auch tatsächlich etwas mit dem Inhalt anfangen, steht auf einem anderen Blatt.

Hier sind die Vor- und Nachteile im direkten Vergleich:

Mein Fazit: Die Nachteile überwiegen im Moment. Wer in der KI-Suche sichtbar werden möchte, kommt mit anderen Maßnahmen verlässlicher ans Ziel als mit dieser Datei.

Wer trotzdem mit dem Gedanken spielt, eine llms.txt zu erstellen, sollte folgende Schritte beachten: