Robots.txt: Was sie ist und wie du sie richtig einsetzt (inkl. KI-Crawler)

In den folgenden Abschnitten erfährst du, wie du robots.txt richtig aufbaust, welche Fehler du vermeiden solltest und wie du festlegst, welche Bereiche deiner Webseite die Crawler abrufen dürfen. Außerdem erfährst du, wie du KI-Crawler gezielt steuerst.

Zwei Dinge vorweg: Googles bisheriger robots.txt-Tester wurde Ende 2023 eingestellt. Unsere Studie zeigt außerdem, dass bei 97 % der untersuchten llms.txt-Dateien im Erhebungszeitraum kein Abruf festgestellt wurde.

Eine robots.txt ist eine einfache Textdatei im Stammverzeichnis deiner Website, abrufbar unter deinedomain.de/robots.txt. Sie sagt Crawlern wie dem Googlebot oder GPTBot, welche Bereiche sie abrufen dürfen. Wichtig: Die robots.txt steuert das Crawling, nicht die Indexierung. Eine per Disallow gesperrte URL kann trotzdem im Google-Index landen.

Mit einer robots.txt-Datei legst du fest, welche Inhalte Suchmaschinen und andere Crawler nicht abrufen sollen. Bei einigen Crawlern (Google gehört nicht dazu) kannst du zusätzlich vorgeben, wie sie erlaubte Inhalte abrufen sollen, zum Beispiel mit einer Pause zwischen zwei Anfragen.

Das Prinzip ist weitestgehend selbsterklärend: Du benennst einen User-Agent, also die Kennung eines Bots, und darunter die Regeln für ihn. Dennoch können kleine Fehler große Auswirkungen nach sich ziehen. Ein falsch gesetzter Schrägstrich kann dazu führen, dass Google wichtige Bereiche deiner Website nicht mehr crawlt.

Eine Disallow-Regel verhindert, dass ein Crawler eine Seite abruft. Sie sorgt aber nicht automatisch dafür, dass die URL aus den Suchergebnissen verschwindet.

Verlinken andere Websites auf eine gesperrte URL, kann Google sie trotzdem indexieren. In den Suchergebnissen erscheint sie dann möglicherweise ohne Beschreibung.

Möchtest du eine Seite zuverlässig aus dem Google-Index heraushalten, brauchst du ein Meta-Robots-Tag oder einen X-Robots-Tag HTTP-Header mit der Anweisung noindex. Wichtig ist, dass Google die Seite weiterhin crawlen darf. Ansonsten kann die Suchmaschine die Anweisung nicht erkennen.

Die robots.txt ist keine technische Zugriffssperre. Suchmaschinen wie der Googlebot und Bingbot halten sich an die hierin festgelegten Regeln. Allerdings kann es sein, dass andere Bots besagte Regeln ignorieren. Ein typisches Beispiel hierfür sind Scraper, die Inhalte unabhängig von den Vorgaben einer Website sammeln.

Wenn du bestimmte Bots zuverlässig aussperren möchtest, brauchst du zusätzliche Regeln auf Server- oder CDN-Ebene.

Eine robots.txt enthält die Namen der Crawler und die Regeln, die für sie gelten. Zusätzlich kannst du auf deine Sitemap verweisen. Der grundsätzliche Aufbau sieht so aus:

Mit dem User-agent legst du fest, für welchen Crawler die nachfolgenden Anweisungen gelten. Welche Regeln du verwenden kannst, erfährst du in den nächsten Abschnitten.

Jeder Crawler hat eine eigene Kennung, den sogenannten User-Agent. Zu den bekannten Suchmaschinen-Crawlern gehören:

Im Zusammenhang mit KI-Diensten werden weitere Kennungen relevant:

Die Aufgaben dieser Bots und die Möglichkeiten, ihren Zugriff einzuschränken, erklären wir dir im Abschnitt zu KI-Crawlern.

Mit dem Sternchen (*) legst du Regeln für alle Crawler fest, sofern für sie keine spezifischere User-Agent-Gruppe existiert. Möchtest du Googlebot den Zugriff erlauben und andere Crawler grundsätzlich ausschließen, kannst du folgende Regeln verwenden:

Googlebot folgt in diesem Fall seiner eigenen Regel und nicht der allgemeinen Sperre. Google verwendet die User-Agent-Gruppe, deren Kennung am besten zum jeweiligen Crawler passt.

Bleibt der Wert hinter Disallow: leer, ignoriert Google die Anweisung.

Hast du deine Sitemap bereits in der Google Search Console eingereicht, ist die zusätzliche Angabe für Google nicht zwingend erforderlich. Für andere Suchmaschinen wie Bing kann sie aber weiterhin hilfreich sein.

Wenn sich Disallow und Allow überschneiden, entscheidet die jeweils spezifischere Regel darüber, ob ein Crawler eine URL abrufen darf oder nicht.

Google und Bing berücksichtigen die Regel mit dem längeren passenden Pfad. In diesem Beispiel hat Disallow: /blog/ mit sechs Zeichen Vorrang vor Allow: /blog mit fünf Zeichen. Sind beide Regeln gleich lang, hat Allow Vorrang.

In älteren Anleitungen findest du häufig noch die Anweisungen Crawl-delay und Noindex. Mit Crawl-delay kannst du eine Pause zwischen den Abrufen eines Crawlers festlegen. Google unterstützt diese Anweisung nicht, Bing dagegen schon.

Noindex in der robots.txt funktioniert bei Google ebenfalls seit dem 01. September 2019 nicht mehr. Dasselbe gilt für Nofollow.

Möchtest du verhindern, dass eine Seite im Google-Index erscheint, verwendest du stattdessen ein Meta-Robots-Tag oder einen X-Robots-Tag-HTTP-Header mit noindex.

Nicht zwingend. Gerade im Zusammenhang mit kleineren Websites funktioniert das Crawling auch ohne robots.txt. Fehlt die Datei, haben Suchmaschinen grundsätzlich die Möglichkeit, alle öffentlich zugänglichen Bereiche abzurufen.

Trotzdem kann es sinnvoll sein, eine robots.txt anzulegen. Mit ihr bestimmst du, welche Bereiche deiner Website Crawler nicht besuchen sollen. Dies kann im Zusammenhang mit den folgenden Details hilfreich sein:

Aufgrund des zunehmenden Einsatzes von KI-Crawlern ist die robots.txt auch für Websitebetreiber im DACH-Raum wieder stärker in den Fokus gerückt.

Eine robots.txt ist kein geeignetes Mittel, um URLs zuverlässig aus dem Google-Index auszuschließen. In der Google Search Console kann deshalb die Meldung „Indexiert, obwohl durch robots.txt blockiert“ erscheinen.

Wie du damit umgehst, erklären wir in unserem ausführlichen Guide.

Möchtest du eine Seite von der Indexierung ausschließen, verwendest du noindex. Dafür muss Google die Seite weiterhin crawlen dürfen.

Die robots.txt liegt im Stammverzeichnis deiner Website. Um sie aufzurufen, ergänzt du die Adresse um /robots.txt, zum Beispiel https://deine-domain.de/robots.txt.

Erscheint eine Textdatei mit User-Agent-Anweisungen, ist eine robots.txt vorhanden. Erhältst du dagegen die Fehlermeldung 404, wurde unter dieser Adresse keine Datei gefunden.

Die Datei muss direkt unter /robots.txt erreichbar sein. Liegt sie unter deine-domain.de/seo/robots.txt, berücksichtigen Crawler sie nicht als robots.txt für die Website.

Eine robots.txt gilt nur für den Host, das Protokoll und den Port, für die sie bereitgestellt wird.

Für die Praxis bedeutet das:

Bei WordPress findest du im Stammverzeichnis nicht immer eine robots.txt. Ist dort keine Datei hinterlegt, erstellt WordPress automatisch eine virtuelle Version. Diese kannst du wie gewohnt unter deine-domain.de/robots.txt aufrufen.

Am einfachsten bearbeitest du die robots.txt über ein SEO-Plugin:

Legst du eine echte robots.txt im Stammverzeichnis an, hat diese Vorrang vor der automatisch erzeugten WordPress-Version. Achte deshalb darauf, dass alle benötigten Regeln auch in der neuen Datei vermerkt sind.

In TYPO3 kannst du die robots.txt über die Site-Konfiguration verwalten.

Gehe hierzu auf Site-Management → Sites → deine Website → Statische Routen. Dort kannst du eine Route für robots.txt anlegen und den Inhalt direkt eingeben oder eine Datei hinterlegen.

Auch bei Shopify und Shopware kannst du die robots.txt über das jeweilige System verwalten. Bei Shopify kannst du die automatisch erzeugte robots.txt über die Theme-Vorlage robots.txt.liquid anpassen. Dazu öffnest du im Adminbereich Onlineshop → Themes → Code bearbeiten und legst die entsprechende Vorlage an.

Bei Shopware hängt die Verwaltung von der eingesetzten Version und Konfiguration ab. Bei korrekt eingerichteten Websites ist die robots.txt auch in diesen Systemen unter /robots.txt erreichbar.

Für eine einfache robots.txt brauchst du nur einen Texteditor und Zugriff auf das Stammverzeichnis deiner Website. So gehst du vor:

Öffne einen einfachen Texteditor wie Notepad, TextEdit im Modus „Reines Textformat“ oder VS Code. Verwende kein Word oder Google Docs, da die Datei als reiner Text gespeichert werden muss.

Überlege dir, welche Bereiche deiner Website Crawler nicht abrufen sollen. Möchtest du den Zugriff auf /admin/ einschränken, verwendest du folgende Regeln:

Du kannst weitere Anweisungen ergänzen. Eine robots.txt mit mehreren gesperrten Bereichen könnte so aussehen:

Speichere die Datei unter dem Namen robots.txt und verwende die UTF-8-Kodierung. Achte darauf, dass keine zusätzliche Dateiendung entsteht, etwa robots.txt.txt.

Beachte, dass Google nur die ersten 500 KiB einer robots.txt berücksichtigt.

Lade die robots.txt per FTP, SFTP oder über den Dateimanager deines Hosters ins Stammverzeichnis deiner Website hoch. Anschließend muss sie unter https://deine-domain.de/robots.txt erreichbar sein.

Nutzt du ein CMS wie WordPress, TYPO3 oder Shopify, kannst du die Datei je nach System auch direkt über das Backend verwalten.

Rufe https://deine-domain.de/robots.txt im Browser auf. Dort sollten deine Anweisungen als Klartext erscheinen. Idealerweise liefert der Server den HTTP-Statuscode 200.

Erscheint stattdessen eine Fehlermeldung oder eine gewöhnliche HTML-Seite, solltest du den Dateinamen und den Ablageort überprüfen.

Im Internet findest du zahlreiche Generatoren, mit denen du eine robots.txt erstellen kannst. Du wählst die gewünschten Regeln aus und erhältst eine fertige Datei. Auf diese Weise lassen sich im Idealfall Syntaxfehler vermeiden.

Das Problem: Solche Tools stoßen im Zusammenhang mit komplexeren Regeln häufig an ihre Grenzen. Möchtest du zum Beispiel Wildcards, das $-Zeichen oder bestimmte KI-Crawler berücksichtigen, ist es oft einfacher, die Anweisungen selbst zu schreiben.

Bei komplexeren Anforderungen ist es oft sinnvoller, die robots.txt selbst zu erstellen. So behältst du den Überblick über die Einstellungen. Anschließend kannst du in der Google Search Console prüfen, ob Google die Datei abrufen kann und ob Fehler vorliegen.

Über die robots.txt kannst du auch festlegen, welche KI-Crawler deine Website abrufen dürfen. Dabei solltest du unterscheiden, wofür die einzelnen Bots eingesetzt werden. Denn nicht jeder KI-Bot erfüllt dieselbe Aufgabe.

Grundsätzlich gibt es drei verschiedene Varianten:

Wenn du alle drei Arten sperrst, verhinderst du nicht nur den vorgesehenen Abruf deiner Inhalte für das KI-Training. Du kannst damit auch einschränken, ob deine Inhalte in KI-Suchen als Quellen berücksichtigt werden. Sperrst du dagegen nur Trainings-Crawler, können Such-Crawler deine Inhalte weiterhin abrufen, sofern du sie nicht ebenfalls blockierst.

Welche Bots du zulässt, hängt deshalb davon ab, wie du deine Inhalte nutzen und verbreiten möchtest.

Möchtest du verhindern, dass deine Inhalte für das KI-Training abgerufen werden, kannst du die entsprechenden Bots gezielt sperren. Such-Crawler wie OAI-SearchBot bleiben davon unberührt, sofern du sie nicht ebenfalls blockierst. So ermöglichst du den Such-Crawlern weiterhin den Zugriff auf deine Inhalte. Dass diese anschließend in KI-Suchen als Quellen erscheinen, ist damit allerdings nicht garantiert.

Eine Besonderheit gilt für ChatGPT-User: Da dieser User-Agent bei nutzerinitiierten Abrufen eingesetzt wird, greifen robots.txt-Regeln laut OpenAI nicht in jedem Fall. Für die Steuerung der ChatGPT-Suche ist dagegen OAI-SearchBot zuständig.

Laut OpenAI kann es etwa 24 Stunden dauern, bis Änderungen an deiner robots.txt in der ChatGPT-Suche berücksichtigt werden.

Gerade im Zusammenhang mit Google-Extended entstehen häufig Missverständnisse. Der robots.txt-Token steuert, ob Google Inhalte für das Training und Grounding bestimmter Gemini- und Vertex-AI-Dienste verwenden darf. Auf die Sichtbarkeit in Google AI Overviews oder im AI Mode hat diese Einstellung dagegen keinen direkten Einfluss.

Für die KI-Funktionen der Google-Suche gibt es eine eigene Einstellung in der Google Search Console. Über die Funktion „Search generative AI control“ können Websitebetreiber die Verwendung ihrer Inhalte in AI Overviews und im AI Mode steuern.

Welche Möglichkeiten dir hier genau zur Verfügung stehen, erklären wir in unserem Guide zum AI-Opt-out.

Wichtig ist außerdem: Wenn du den Googlebot sperrst, schränkst du auch das Crawling für die klassische Google-Suche ein. Eine entsprechende Sperre bezieht also nicht nur die KI-Funktionen.

Wie verbreitet solche Sperren tatsächlich sind, haben wir in unserer Studie zu KI-Bot-Blockraten im DACH-Raum untersucht. Die Informationen stammen aus den Common-Crawl-Daten vom August 2026.

Die Ergebnisse zeigen deutliche Unterschiede:

Die Unterschiede, die die oben genannten Daten zeigen, könnten mit den jeweiligen Geschäftsmodellen zusammenhängen. Für Verlage sind eigene Inhalte immerhin ein wichtiger Teil ihres Angebots. Online-Shops sind dagegen stärker darauf angewiesen, dass ihre Produkte und Seiten gefunden werden.

Bei der Einordnung der Zahlen ist allerdings Vorsicht geboten. Die Studie erfasst ausschließlich Sperren über die robots.txt. Maßnahmen auf Server- oder Netzwerkebene wurden nicht berücksichtigt. Außerdem beziehen sich die Ergebnisse auf den gesamten DACH-Raum und nicht allein auf Deutschland.

Schon kleine Fehler in der robots.txt können dazu führen, dass Crawler wichtige Seiten nicht mehr abrufen dürfen. Mit den folgenden Tipps vermeidest du typische Probleme.

In einer robots.txt muss jede Anweisung in einer separaten Zeile stehen.

Falsch:

Richtig:

Mit dem Sternchen (*) kannst du nicht nur alle User-Agents ansprechen, sondern auch Platzhalter innerhalb von URL-Pfaden nutzen.

Möchtest du URLs mit Parametern im Verzeichnis /produkte/ vom Crawling ausschließen, kannst du folgende Regel verwenden:

Auf diese Weise sperrst du URLs unter /produkte/, die ein Fragezeichen enthalten. Beachte allerdings, dass dadurch auch URLs mit wichtigen Parametern betroffen sein können.

Das Dollarzeichen ($) markiert das Ende der URL, auf die eine Regel angewendet wird. Mit seiner Hilfe kannst du verhindern, dass eine Regel auch URLs mit zusätzlichen Parametern erfasst. Möchtest du PDF-Dateien vom Crawling ausschließen, sieht die Regel so aus:

Damit wird /datei.pdf blockiert, während /datei.pdf?id=68937586 weiterhin abgerufen werden darf.

Google kann mehrere Regelblöcke für denselben User-Agent zusammenführen. Trotzdem ist es übersichtlicher, alle Anweisungen für einen Crawler in einem Block zu sammeln. So erkennst du leichter, welche Regeln gelten und ob sie sich möglicherweise überschneiden.

Ein fehlender Schrägstrich kann dazu führen, dass du mehr URLs sperrst als beabsichtigt.

Angenommen, du möchtest das Verzeichnis /de/ vom Crawling ausschließen, verwendest aber versehentlich folgende Regel:

Damit sperrst du nicht nur das Verzeichnis /de/, sondern auch /designer-kleider/ und /details.html, weil beide Pfade ebenfalls mit /de beginnen.

Möchtest du ausschließlich das Verzeichnis /de/ und seine Unterseiten sperren, lautet die richtige Regel:

Beachte, dass die URL /de ohne abschließenden Schrägstrich von dieser Regel nicht erfasst wird. Soll auch diese Adresse gesperrt werden, brauchst du eine zusätzliche passende Regel.

Mit Kommentaren kannst du festhalten, wofür bestimmte Regeln gedacht sind. Zeilen, die mit einer Raute (#) beginnen, werden von Crawlern ignoriert.

Das ist besonders hilfreich, wenn mehrere Personen die robots.txt bearbeiten oder du später Änderungen vornehmen möchtest.

Jede Subdomain benötigt eine eigene robots.txt. Betreibst du deine Website unter domain.de und deinen Blog unter blog.domain.de, gelten für beide Hosts getrennte Regeln. Auch HTTP und HTTPS werden getrennt behandelt.

Änderungen, die du an deiner robots.txt vornimmst, werden nicht immer sofort wirksam. Google speichert die Datei im Cache und aktualisiert sie normalerweise innerhalb von 24 Stunden. Unter bestimmten Umständen kann das Ganze auch etwas länger dauern. Wenn du eine Änderung früher überprüfen möchtest, kannst du im robots.txt-Bericht der Google Search Console einen erneuten Abruf anfordern.

Google verarbeitet maximal 500 KiB einer robots.txt. Alles, was darüber hinausgeht, wird ignoriert.

Bei einer gewöhnlichen Website dürfte dieses Limit kaum eine Rolle spielen. Enthält deine Datei allerdings sehr viele Einzelregeln, solltest du prüfen, ob du diese mit Wildcards zusammenfassen oder deine URL-Struktur vereinfachen kannst.

Die folgenden Beispiele zeigen dir, wie eine robots.txt für unterschiedliche Anforderungen aussehen kann. Du kannst sie als Vorlage verwenden und an deine Website anpassen.

Prüfe vor dem Hochladen aber am besten, ob die Regeln tatsächlich zu deiner Website passen. Anschließend solltest du kontrollieren, ob die Datei unter /robots.txt erreichbar ist und die gewünschten Bereiche vom Crawling ausgeschlossen werden.

Wie Websites ihre robots.txt einsetzen, hängt auch von ihrem Geschäftsmodell ab. Unsere DACH-Studie zeigt, dass große Nachrichten- und Verlagsangebote GPTBot deutlich häufiger sperren als die untersuchten großen Shops und Marktplätze.

Bei Onlineshops spielen außerdem Regeln für Warenkorb, Checkout, interne Suchergebnisse und bestimmte Filter-URLs eine Rolle.

Wie solche Regeln aussehen können, zeigt das folgende fiktive Beispiel.

Ein Beispiel aus der Praxis liefert OTTO. Der Onlineshop führt in seiner robots.txt unter anderem GPTBot, OAI-SearchBot und PerplexityBot auf. Für diese Crawler sperrt OTTO bestimmte Bereiche, darunter /kundenbewertungen/. Eine vollständige Sperre dieser KI-Crawler ist damit nicht verbunden. Die Regeln zeigen, wie ein Onlineshop den Zugriff gezielt auf einzelne Bereiche beschränken kann.

Anders geht die Tagesschau vor. In ihrer robots.txt sperrt sie unter anderem GPTBot und ClaudeBot vollständig vom Crawling aus. Auch für Google-Extended ist eine Sperre hinterlegt. Zusätzlich enthält die Datei einen ausdrücklichen Vorbehalt gegen die Nutzung der Inhalte für Text- und Data-Mining.

Die Unterschiede zwischen Verlagen und Shops sind eine Momentaufnahme. Aus den Blockraten lässt sich keine allgemeine Empfehlung für den Umgang mit KI-Crawlern ableiten. Kopiere deshalb keine fremde robots.txt, ohne die Regeln an deine Website anzupassen.

Ein falscher Schrägstrich oder eine ungewollte Sperre kann dazu führen, dass Suchmaschinen wichtige Seiten nicht mehr crawlen. Deshalb solltest du deine robots.txt nach Änderungen und auch zwischendurch überprüfen. Hierzu stehen dir verschiedene Optionen zur Verfügung.

Den früheren robots.txt-Tester hat Google Ende 2023 eingestellt. Stattdessen steht dir der robots.txt-Bericht in der Google Search Console zur Verfügung.

Du findest ihn unter Einstellungen → robots.txt. Dort kannst du unter anderem überprüfen:

Beachte, dass der robots.txt-Bericht nur für Domain-Properties und URL-Präfix-Properties auf Hostebene verfügbar ist.

Besonders hilfreich ist die Versionshistorie. Geht der organische Traffic plötzlich zurück, kannst du nachsehen, ob die robots.txt kürzlich geändert wurde. So lässt sich unter Umständen herausfinden, ob eine versehentlich eingefügte Regel wie Disallow: / das Crawling beeinträchtigt.

Möchtest du wissen, ob Google eine bestimmte Seite crawlen darf? Gib die Adresse in die URL-Prüfung der Google Search Console ein. Dort kannst du unter anderem sehen, ob Google die URL aufgrund deiner robots.txt nicht abrufen durfte.

Im Bericht „Seitenindexierung“ (früher „Coverage“) findest du verschiedene Hinweise auf Probleme mit deiner robots.txt. Besonders relevant sind diese drei Meldungen:

Diese Meldung bedeutet, dass eine übermittelte URL durch deine robots.txt gesperrt ist. Prüfe zunächst, ob die Seite überhaupt gecrawlt und indexiert werden soll.

Ist das der Fall, musst du die entsprechende Sperre anpassen. Soll die URL dagegen nicht in den Suchergebnissen erscheinen, gehört sie normalerweise auch nicht in deine Sitemap. In eine sauber erstellte Sitemap gehören grundsätzlich nur URLs, die indexiert werden sollen und selbst die kanonische Version darstellen. Seiten mit noindex oder Weiterleitungen solltest du dort nicht aufführen.

Google kennt die URL, darf sie aufgrund deiner robots.txt aber nicht crawlen. Soll die Seite in den Suchergebnissen erscheinen, musst du die Sperre aufheben.

Möchtest du sie dagegen gezielt aus dem Google-Index ausschließen, kannst du ein Meta-Robots-Tag oder einen X-Robots-Tag-HTTP-Header mit noindex verwenden. Dafür muss Google die Seite abrufen können. Die robots.txt darf den Zugriff also nicht gleichzeitig verhindern.

In diesem Fall ist eine URL trotz Crawling-Sperre im Google-Index gelandet. Das kann passieren, wenn andere Websites auf die entsprechende Seite verlinken.

Wie du damit umgehst, erklären wir ausführlich in unserem Guide zu „Indexiert, obwohl durch robots.txt blockiert“.

Mit Ahrefs Site Audit kannst du überprüfen, welche Bereiche deiner Website durch die robots.txt vom Crawling ausgeschlossen werden.

Starte dazu einen Crawl für dein Projekt und öffne anschließend den Bericht „Indexierbarkeit“. Dort kannst du nach URLs filtern, die aufgrund der robots.txt nicht gecrawlt werden dürfen.

Prüfe insbesondere, ob wichtige Seiten betroffen sind. Auch interne Links auf gesperrte URLs können ein Hinweis darauf sein, dass du deine Regeln überarbeiten solltest.

Wenn du regelmäßige Crawls einrichtest, kannst du Veränderungen frühzeitig erkennen und überprüfen, ob neue Sperren hinzugekommen sind.

Arbeitest du mit Wildcards oder dem $-Zeichen, kann es sinnvoll sein, deine Regeln zusätzlich technisch zu überprüfen.

Google hat 2019 den Parser für robots.txt-Dateien als Open-Source-Projekt auf GitHub veröffentlicht. Damit kannst du lokal testen, wie bestimmte Regeln interpretiert werden und ob sie den Abruf einer URL erlauben.

Diese Methode erfordert allerdings technische Kenntnisse und ist vor allem für komplexere robots.txt-Dateien interessant.

Die llms.txt ist eine Markdown-Datei im Stammverzeichnis einer Website, die KI-Systemen einen Überblick über wichtige Inhalte geben soll. Anders als die robots.txt steuert sie jedoch nicht das Crawling und kann keine Bots aussperren. Zudem handelt es sich bisher nicht um einen allgemein anerkannten Standard.

Unsere llms.txt-Studie zeigt, wie selten diese Dateien abgerufen werden: Von 137.210 untersuchten Domains verfügten rund 38.000 über eine gültige llms.txt. Bei 97 % dieser Dateien wurde im Mai 2026 keine einzige Anfrage registriert.

Viele große KI-Anbieter, wie OpenAI, Anthropic, Google und Apple, dokumentieren, wie ihre Crawler mit robots.txt-Regeln umgehen. Eine Garantie, dass sich jeder Bot an die Vorgaben hält, gibt es allerdings nicht.

Möchtest du einen Crawler zuverlässig blockieren, benötigst du zusätzliche Maßnahmen auf Server- oder CDN-Ebene.

Die robots.txt enthält Crawling-Regeln für Bots. Mit einem Meta-Robots-Tag kannst du dagegen unter anderem festlegen, ob eine Seite in den Suchindex aufgenommen werden darf. Mit noindex kannst du eine Seite aus dem Google-Index ausschließen. Voraussetzung ist, dass Google die Anweisung lesen kann und die URL deshalb nicht gleichzeitig durch die robots.txt gesperrt wird.

In diesem Fall kann Google die Seite nicht abrufen und erkennt deshalb auch die noindex-Anweisung nicht. Die URL kann trotzdem im Index erscheinen. Zum Beispiel, wenn andere Websites auf sie verlinken.

Mehr dazu erfährst du in unserem Artikel „Indexiert, obwohl durch robots.txt blockiert“.

Google berücksichtigt maximal 500 KiB einer robots.txt. Darüber hinausgehende Inhalte werden ignoriert. Für die meisten Websites reicht dieser Umfang problemlos aus. Wird deine Datei sehr groß, solltest du prüfen, ob du mehrere Einzelregeln zusammenfassen kannst.

Du erreichst die robots.txt unter deine-domain.de/robots.txt. Ist keine physische Datei vorhanden, kann WordPress automatisch eine virtuelle robots.txt bereitstellen.

Du kannst eine echte robots.txt im Stammverzeichnis deiner Website anlegen oder ein SEO-Plugin verwenden. Sowohl Yoast SEO als auch Rank Math bieten Möglichkeiten, die Datei über das WordPress-Backend zu bearbeiten.

Mit einer robots.txt legst du fest, welche Bereiche deiner Website Suchmaschinen und andere Crawler abrufen dürfen. Die Datei ist einfach aufgebaut, doch fehlerhafte Regeln können verhindern, dass wichtige Inhalte gecrawlt werden.

Du solltest vor allem auf die folgenden drei Punkte achten:

In Bezug auf KI-Crawler kommt es darauf an, wie du deine Inhalte nutzen möchtest. Du kannst zum Beispiel Trainings-Crawler gezielt sperren, ohne gleichzeitig alle Such-Crawler auszuschließen. Welche Lösung sinnvoll ist, hängt von deiner Website und deinen Zielen ab.

Behalte außerdem die Dokumentation der KI-Anbieter im Blick, da sich Crawler und ihre Einsatzbereiche verändern können.