Nur 2,3 % der deutschen Websites blockieren GPTBot in robots.txt — aber 61 % der großen Verlage

Noch deutlicher wird der Unterschied beim Geschäftsmodell: 61 % der großen Nachrichten- und Verlagsangebote blocken GPTBot, bei den großen Shops und Marktplätzen sind es 6 %.

In diesem Artikel zeigen wir dir, welche KI-Bots am häufigsten ausgesperrt werden, wie sich die Blockraten seit Juni 2023 entwickelt haben, was robots.txt leisten kann — und wie du für deine eigene Website entscheidest, ob du KI-Bots blockieren solltest.

2,27 % der Websites in unserer Stichprobe von 24.550 DACH-Domains sperren GPTBot per robots.txt aus (Stand: August 2026). Bei 1,22 % steht der Bot namentlich in der robots.txt, der Rest fällt unter einen Pauschalblock für alle Crawler.

Zwei Zahlen zur Einordnung:

Anders gesagt: KI-Bots blockieren ist im deutschsprachigen Longtail die Ausnahme, nicht die Regel. Über 97 % der Domains in unserer Stichprobe lassen GPTBot rein — bewusst oder einfach, weil das Thema nie auf der To-do-Liste stand. Welche Deutung stimmt, sagen die Daten nicht. Was sie zeigen: Eine gezielte Entscheidung ist der seltenere Fall.

Wichtig für die Interpretation: Diese 2,27 % beschreiben eine Zufallsstichprobe, und die ist naturgemäß Longtail-lastig. Bei den 57 größten DACH-Portalen, die wir separat geprüft haben, liegt die GPTBot-Blockrate bei 40,4 % — Faktor 18. Die Größe der Website verändert das Bild also komplett. Mehr dazu weiter unten im Abschnitt zu großen Portalen.

In unserer Zufallsstichprobe von 24.550 DACH-Hosts (Stand August 2026) steht nicht GPTBot an der Spitze, sondern PetalBot. 3,95 % der untersuchten Domains sperren ihn aus.

Hier die Rangliste nach Blockrate in unserer Stichprobe:

Der PetalBot-Ausreißer hat wahrscheinlich nur teilweise was mit KI zu tun. Er gilt in Webmaster-Foren seit Jahren als aggressiver Crawler und landet entsprechend oft in Copy-and-paste-robots.txt-Vorlagen. Das ist unsere Deutung, kein Messergebnis.

Wichtig für die Interpretation der Tabelle: Wir zählen zwei Arten von Sperren.

Ein expliziter Block nennt den Bot beim Namen:

`` User-agent: GPTBot Disallow: / ``

Ein Pauschal-Block trifft alle Crawler auf einmal:

`` User-agent: * Disallow: / ``

1,19 % der Hosts in unserer Stichprobe sperren per Wildcard pauschal alles aus. Diese Websites tauchen in der Tabelle bei jedem Bot mit auf, sofern sie ihn nicht ausdrücklich erlauben. Das ist der Boden, auf dem alle Werte aufsetzen.

Und genau da wird die Rangliste interessant. Die meisten Bots liegen nur wenige Zehntel über diesen 1,19 %. Für GPTBot können wir es exakt aufschlüsseln: 1,22 der 2,27 Prozentpunkte sind explizite Blocks. Nur rund die Hälfte der GPTBot-Sperren ist also eine bewusste Entscheidung gegen OpenAI. Die andere Hälfte sind Websites, die ohnehin keinen Crawler hereinlassen.

Wer KI-Bots blockieren will, entscheidet sich derzeit also selten für einzelne Namen. Den Daten zufolge dominiert das grobe Werkzeug: Tür zu für alle, oder Tür offen für alle.

Eine Einschränkung, die man bei dieser Tabelle mitdenken sollte: Die Liste der KI-Crawler ändert sich schneller als die meisten robots.txt-Dateien. Bots wie meta-externalagent oder Applebot-Extended gibt es erst seit 2024. Eine niedrige Blockrate heißt deshalb nicht automatisch „Zustimmung“. Oft heißt sie einfach, dass der Bot in der eigenen robots.txt noch nie aufgetaucht ist.

Die Blockrate hängt massiv von der Größe der Website ab. In unserer Zufallsstichprobe von 24.550 DACH-Domains sperren 2,27 % GPTBot in robots.txt aus. Unter 57 der größten deutschsprachigen Portale sind es 40,4 %. Das ist Faktor 18.

Der Abstand zieht sich durch alle großen KI-Crawler:

Warum der Unterschied so groß ist, lässt sich aus den Daten nicht direkt ablesen. Naheliegend ist: Große Portale haben Rechtsabteilungen, Lizenzinteressen und jemanden, der die robots.txt überhaupt pflegt. Bei kleineren Websites steht dort oft noch das, was das CMS bei der Installation hinterlegt hat.

Innerhalb der 57 Top-Portale trennt ein Faktor die Lager sauberer als jede andere Variable: das Geschäftsmodell.

Bei den Nachrichten- und Verlagsangeboten (n=28) blocken 71 % mindestens einen KI-Bot. 61 % sperren GPTBot explizit aus. Und viele bleiben nicht bei einem Namen: heise.de listet 26 KI-Bots mit Disallow: /, faz.net 23, spiegel.de 22. Das sind keine pauschalen Komplettsperren, sondern namentlich gepflegte Listen. Jemand hat dort die robots.txt bewusst zur KI-Türpolitik ausgebaut.

Im E-Commerce sieht es fast umgekehrt aus. Von den 16 untersuchten Shops und Marktplätzen blocken nur 12 % überhaupt einen KI-Crawler. Die GPTBot-Blockrate liegt bei 6 % — und dahinter steckt genau eine Domain: idealo. otto.de, zalando.de, rewe.de, dm.de, obi.de, check24.de und kleinanzeigen.de lassen die geprüften KI-Bots nach aktueller Datenlage durch.

Das ist unsere Deutung, keine Aussage der Betreiber: Beide Seiten handeln völlig rational, nur mit unterschiedlichem Produkt.

Ein Verlag verkauft den Text selbst. Wird er in einer KI-Antwort zusammengefasst, entfällt der Grund, die Seite zu öffnen. Blocken ist dort Schutz des Kernprodukts.

Ein Shop verkauft das Produkt, nicht die Produktbeschreibung. Für ihn ist eine Erwähnung in einer KI-Antwort ein Kanal, kein Verlust. Wer in ChatGPT-Empfehlungen zitiert werden will, kann den Crawler schwer aussperren, der die Daten holt.

Zwei Einschränkungen dazu. Erstens sind die Teilstichproben klein (28 und 16 Domains) — die Richtung ist deutlich, die Prozentpunkte sind es nicht. Zweitens erfassen wir nur robots.txt. Manche Verlage arbeiten zusätzlich mit Lizenzdeals oder serverseitigen Sperren, die in unseren Daten nicht auftauchen.

Was du daraus mitnehmen kannst: Die Frage „soll ich KI-Bots blockieren?“ hat aktuell keine Branchenantwort. Die Daten zeigen zwei stabile Lager, die sich nach der Rolle von Inhalten im Umsatz sortieren. Eine Momentaufnahme aus August 2026 — verschieben sich Lizenzmodelle oder Traffic-Muster, verschiebt sich diese Grenze mit.

Ein Blick auf die Länderebene zeigt: Der DACH-Raum blockt nicht einheitlich.

Der auffälligste Befund: Österreichische Websites sperren GPTBot nur etwa halb so oft aus wie deutsche (1,25 % gegenüber 2,43 %). Die .at-Teilstichprobe ist kleiner als die deutsche — die Klammerwerte zeigen die 95-%-Konfidenzintervalle —, aber der Abstand ist statistisch signifikant (p < 0,001) und zieht sich durch alle großen KI-Bots. Die Schweiz liegt dazwischen; ihr Unterschied zu Deutschland ist nicht signifikant.

Woran das liegt, geben die Daten nicht her — plausibel sind die kleinteiligere Website-Landschaft in Österreich und die intensivere deutsche Debatte um KI-Training und Verlagsrechte. Fürs Einordnen deiner eigenen Blockentscheidung heißt es schlicht: Der „Standard“ hängt auch davon ab, in welchem Markt du unterwegs bist.

Alle Zahlen in dieser Studie basieren auf einer einzigen Datei: der robots.txt. Und die ist eine Bitte, kein Zwang.

Ein Eintrag wie User-agent: GPTBot plus Disallow: / ist eine Willenserklärung. Technisch hindert sie niemanden daran, deine Seiten abzurufen. Seriöse Betreiber halten sich daran, weil das Protokoll seit den 90ern Konsens ist. Wer sich nicht daran halten will, kann es ignorieren, den User-Agent ändern oder über Drittanbieter-Infrastruktur crawlen.

2024 wurde genau das öffentlich diskutiert, als Medienberichte, wie diese Untersuchung von WIRED, Perplexity vorwarfen, robots.txt-Regeln zu umgehen. Das Unternehmen widersprach der Darstellung. Unabhängig vom Ausgang zeigt der Fall das Grundproblem: Compliance ist freiwillig und lässt sich von außen schwer prüfen.

Wer KI-Bots nicht nur bitten, sondern tatsächlich blockieren will, arbeitet auf Server- oder Netzwerkebene:

Für unsere Studie heißt das: Wir messen die untere Grenze. Ein Portal kann GPTBot per Firewall aussperren und trotzdem eine leere robots.txt haben. Die reale Sperrquote im DACH-Raum liegt also höher als die 2,27 % aus der Zufallsstichprobe. Wie viel höher, lässt sich aus offenen Daten nicht sagen. Einen Anhaltspunkt liefert Cloudflare, das rund ein Viertel aller Websites vorschaltet: Dort werden aktuell 6 bis 8 % aller Anfragen von KI-Trainings-Crawlern mit einem 403 abgewiesen — allerdings gemessen an Anfragen, nicht an Websites, und große Portale ziehen den Wert nach oben. Unsere Schätzung: Die tatsächliche Blockrate in der Zufallsstichprobe liegt beim Anderthalb- bis Zweieinhalbfachen der hier gezeigten Werte, also grob zwischen 3,5 und 6 % für GPTBot.

Kurze, ehrliche Antwort: Es gibt keinen Branchen-Standard, an dem du dich orientieren kannst. Unsere Daten zeigen zwei gegenläufige Lager. Verlage sperren KI-Crawler massenhaft aus, Shops lassen sie fast alle durch. Die Entscheidung folgt deinem Geschäftsmodell, nicht einer Best Practice.

Zur Erinnerung: Von den großen Nachrichtenangeboten in unserer Auswertung blockieren 61 % GPTBot. Bei den großen Shops und Marktplätzen sind es 6 %. Beide Gruppen handeln rational. Sie verdienen nur unterschiedlich Geld.

Du lebst von Abos, Werbeeinnahmen oder Reichweite auf der eigenen Seite? Dann ist jeder Inhalt, den ein KI-Modell verarbeitet, potenziell eine Antwort, für die niemand mehr klicken muss. Die Verlage in unserer Stichprobe haben das offensichtlich so bewertet. heise.de sperrt 26 KI-Bots namentlich aus, faz.net 23, spiegel.de 22.

Bevor du KI-Bots blockierst, lohnt ein Blick auf die Gegenrechnung. Wie viel Traffic kommt aktuell über KI-Assistenten? Unsere Auswertungen zu AI Overviews und ChatGPT-Traffic liefern dafür Größenordnungen.

Bei Shops, SaaS und lokalen Dienstleistern dreht sich die Logik um. Hier ist der Content kein Produkt, sondern Vorstufe zum Kauf. Wer in KI-Antworten als Anbieter zitiert werden will, muss dort erst mal auftauchen. Genau das erklärt vermutlich, warum otto, zalando, rewe, dm, obi, check24 und kleinanzeigen in unserer Auswertung offen sind.

Ein Detail: robots.txt kennt keine Grautöne, aber mehrere Bots. Du kannst Training und Antwortnutzung getrennt behandeln. Google-Extended steuert die KI-Nutzung, ohne die klassische Google-Suche zu berühren. Ähnlich trennen OpenAI und Anthropic ihre Crawler nach Zweck: GPTBot und ClaudeBot sammeln Trainingsdaten, OAI-SearchBot und Claude-SearchBot füttern die Suche, ChatGPT-User und Claude-User rufen Seiten auf Nutzeranfrage ab. Wer nur das Training verhindern will, sperrt also GPTBot und bleibt für OAI-SearchBot offen — OpenAI beschreibt genau diese Kombination in seiner Dokumentation.

Alles hier ist eine Momentaufnahme vom August 2026. Die Blockraten steigen seit drei Jahren, neue Bots kommen dazu, Lizenzdeals verschieben die Rechnung. Was heute richtig ist, kann in zwölf Monaten falsch sein. Schau dir deine robots.txt für KI-Crawler also lieber regelmäßig an als einmalig.

Alle Zahlen in diesem Artikel stammen aus einer eigenen Auswertung der öffentlichen robots.txt-Archive von Common Crawl. Hier steht, was wir genau gemacht haben.

Datenbasis. Hauptsample ist der Crawl CC-MAIN-2026-34 (August 2026). Daraus haben wir eine Zufallsstichprobe der WARC-Dateien gezogen und alle Hosts mit der TLD .de, .at oder .ch gefiltert. Ergebnis: 24.550 Hosts (19.444 .de, 2.005 .at, 3.101 .ch), je Host dedupliziert. 61,9 % davon hatten überhaupt eine robots.txt. Für den Groß-vs.-Klein-Vergleich haben wir 63 große DACH-Domains gezielt über den CDX-Index abgefragt, 57 davon waren auswertbar.

Wie wir „geblockt“ definieren. Erstens explizite Blocks: Der Bot wird namentlich genannt und bekommt ein Disallow: /. Zweitens Pauschal-Blocks: User-agent: * plus Disallow: /, sofern der Bot nicht an anderer Stelle explizit erlaubt ist. Geprüft haben wir 26 KI-Crawler, darunter GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, PerplexityBot, meta-externalagent, Amazonbot und Bytespider.