So optimierst du deine Website für Antwortmaschinen

Keiner der Tipps in diesem Guide bringt etwas, wenn KI-Crawler deine Seiten nicht lesen können. Blockierte Seiten können nicht zitiert werden – und das passiert oft aus Versehen.

Wir haben rund 140 Millionen Websites analysiert und festgestellt: GPTBot ist inzwischen der am häufigsten blockierte KI-Bot (5,89 % der Websites), dicht gefolgt von ClaudeBot.

Cloudflare blockiert KI-Plattformen standardmäßig – prüfe also, ob dein CDN dich nicht stillschweigend ausgeschlossen hat.

„KI-Crawler zulassen“ ist keine einzelne Entscheidung, denn jede Plattform betreibt mehrere Bots, die unterschiedliche Aufgaben erledigen.

Allein OpenAI betreibt drei:

• GPTBot sammelt Inhalte fürs Training
• OAI-SearchBot erstellt den Suchindex, aus dem ChatGPT Ergebnisse abruft
• ChatGPT-User ruft eine Seite live ab, wenn jemand mitten im Gespräch danach fragt

Die Trade-offs sind bei beiden unterschiedlich. Wenn du GPTBot blockierst, landet dein Content nicht in den Trainingsdaten des nächsten Modells – das ist die Entscheidung, die Publisher normalerweise abwägen. Wenn du OAI-SearchBot blockierst, verschwindest du aus dem Index, in dem ChatGPT sucht – und das kostet dich heute Zitate und Referral-Traffic. Viele Websites blockieren das zweite aus Versehen, obwohl sie eigentlich nur das erste wollten.

Am schnellsten siehst du, wo du stehst, mit einem Tool wie dem KI-Crawler-Access-Checker: Es liest deine robots.txt und zeigt dir, welche Crawler durchgelassen werden.

Um zu sehen, welche Bots tatsächlich auftauchen (statt nur, welche erlaubt sind), sieh dir Ahrefs’ Bot Analytics an. Es trackt Besuche in 12 Bot-Kategorien, inklusive eines eigenen KI-Filters, anhand serverseitiger Daten über Cloudflare – und funktioniert, ohne dass du JavaScript zu deiner Website hinzufügen musst.

KI-Crawler lesen meist das rohe HTML und rendern JavaScript größtenteils nicht so, wie es ein Browser tut.

Das bedeutet, dass alles, was erst nach clientseitigem JS erscheint, für sie unsichtbar sein kann.

Geh auf Nummer sicher und setze auf serverseitiges Rendering, damit deine Seite die bestmögliche Chance auf KI-Sichtbarkeit hat.

Langsam ladende Seiten können deine Performance in der klassischen Suche negativ beeinflussen, aber wenn überhaupt, scheint die Strafe in Answer Engines sogar noch größer zu sein. Page Speed scheint mitzuentscheiden, ob du überhaupt im Kontextfenster des Modells landest.¹

Prüfe deinen Page Speed (auch bekannt als Time-to-First-Byte) in Site Audit:

llms.txt ist ein vorgeschlagener Standard für eine Markdown-Datei auf deiner Root-Domain (z. B. website.com/llms.txt), die LLMs zeigt, wo deine besten Inhalte zu finden sind: Dokumentation, Richtlinien, Produkt-Taxonomien. Im Prinzip ist es wie robots.txt für Sprachmodelle.

Aber in der Praxis hat sich kein großer LLM-Anbieter dazu verpflichtet, ihn zu lesen. Nicht OpenAI, nicht Anthropic, nicht Google.

Wir haben geprüft, was tatsächlich passiert, wenn eine Website llms.txt hinzufügt. Von 137.000 Domains, die Ahrefs Web Analytics nutzen, veröffentlichen 28% eine llms.txt-Datei. Von den ~38.000 mit einer gültigen Datei erhielten 97% im gemessenen Monat null Anfragen dafür.

Von dem kleinen Anteil an Dateien, die tatsächlich abgerufen wurden, stammten 96 % der Requests von Bots. Slackbot, der Link-Preview-Bot, rief llms.txt häufiger ab als PerplexityBot. Kurz gesagt: Die wichtigsten KI-Suchmaschinen scheinen sie nicht zu verwenden.

Google ist dabei sehr eindeutig. In seinem Leitfaden zur Optimierung für generative KI-Features gibt es einen Abschnitt mit dem Titel „Mythbusting“, in dem Website-Betreibern erklärt wird, dass maschinenlesbare Dateien wie llms.txt nicht nötig sind, um in der generativen KI-Suche zu erscheinen. John Mueller ging noch weiter und verglich es mit dem alten Keywords-Meta-Tag:

Solltest du also eine erstellen? Wenn du Developer-Dokumentation veröffentlichst, kostet es etwa zehn Minuten und es gibt einen plausiblen Use Case. Mueller beschrieb es als „temporäre Krücke, vielleicht um ein paar Token zu sparen“ – für KI-Coding-Tools, die Docs parsen. Für alle anderen ist es Aufwand ohne messbaren Nutzen – plus ein kleiner Nachteil, weil du es Wettbewerbern leichter machst, deine Inhalte komplett zu scrapen.

KI-Assistenten denken sich Links zu deiner Website aus – und das ziemlich oft. Wir haben den HTTP-Status von 16 Millionen URLs geprüft, die von ChatGPT, Perplexity, Copilot, Gemini, Claude und Mistral zitiert werden, und festgestellt: KI-Assistenten schicken Besucher 2,87-mal häufiger auf 404-Seiten als die Google-Suche.

ChatGPT ist mit großem Abstand der schlimmste Übeltäter. 1,01 % seiner angeklickten URLs liefern einen 404 zurück, gegenüber einem Google-Basiswert von 0,15 %.

Perplexity (0,87%) und Gemini (0,86%) liegen fast exakt auf Googles eigener Rate von 0,84% für zitierte URLs. Das ergibt Sinn, da beide aus dem Google-Index abrufen und somit dessen defekte Links übernehmen, statt eigene zu erfinden.

Die erfundenen URLs werden aus deinen bestehenden Mustern abgeleitet. Eine häufig halluzinierte URL für unsere Website war ahrefs.com/keywords, weil wir ständig über Keywords schreiben und das Modell davon ausging, dass es so eine Seite geben muss. Gibt es nicht.

Das ist einer der wenigen wirklich kostenlosen Erfolge in AEO. Jemand mit echter Absicht hat nach deinem Produkt gefragt, wurde auf deine Website geschickt und ist dort in einer Sackgasse gelandet. Du wirst drei unterschiedliche Typen sehen:

• Halluzinierte URLs. Seiten, die ein Modell aus deiner URL-Struktur erfunden hat.
• Veraltete URLs. Seiten, die es früher einmal gab und die aus Trainingsdaten oder anderen veralteten Datenquellen „in Erinnerung“ geblieben sind.
• Falsch geschriebene oder abgewandelte URLs. Beinahe-Treffer auf echten Seiten.

Deshalb haben wir Web Analytics einen Filter hinzugefügt, mit dem du halluzinierte URLs in nur zwei Klicks findest. Wenn du nach einer einfachen Google-Analytics-Alternative suchst, kostenlos für bis zu 1 Million Events pro Monat, schau es dir an:

Wenn eine halluzinierte URL immer wieder angefragt wird, sagt dir das Modell damit, welche Seite deine Besucher von dir erwarten.

Jede Taktik in diesem Guide hängt letztlich von einem einzigen Punkt ab: ob KI-Systeme deine Marke als eigenständige Entität erkennen.

Googles Knowledge Graph – eine Datenbank mit 54 Milliarden Entitäten und über 1,6 Billionen Fakten darüber, wie sie miteinander zusammenhängen – ist nicht länger nur die Engine hinter Knowledge Panels.

Es ist jetzt die Kerninfrastruktur für AI Overviews, AI Mode und Gemini.

Wenn deine Marke nicht klar als Entität etabliert ist – mit konsistenten Signalen über deine Website, strukturierte Daten und autoritative Drittquellen hinweg –, riskierst du, in KI-Antworten unsichtbar zu sein – nicht nur in den blauen Links.

Schema wird oft als schneller Gewinn für KI-Sichtbarkeit angepriesen, und die oberflächliche Korrelation wirkt überzeugend: Von KI zitierte Seiten haben fast dreimal so häufig JSON-LD.

Aber Korrelation ist nicht gleich Kausalität. Wir haben 1.885 Seiten, die JSON-LD hinzugefügt haben, getrackt und mit 4.000 Kontrollseiten verglichen – und keine nennenswerte Verbesserung bei KI-Modus oder ChatGPT festgestellt sowie einen kleinen Rückgang bei AI Overview, den wir nicht auf Schema zurückführen konnten.

Ist Schema also nutzlos? Nein, aber seine Rolle ist langsam und indirekt – keine Quick-Win-Taktik.

Du kannst prüfen, ob Google dich bereits erkennt, indem du Googles Knowledge Graph API oder einen kostenlosen Checker nutzt, um zu sehen, welchen Entitätstyp es dir zugewiesen hat und ob die Attribute stimmen.

Zum Beispiel zeigt dir Carl Hendys Knowledge-Graph-Tool Ergebnisse für Personen, Unternehmen, Produkte, Orte und andere Entitäten.

Versuche dann, Erwähnungen von autoritativen Publikationen zu erhalten, und halte deine Fakten überall konsistent: derselbe Name, dieselbe Beschreibung und dieselbe Kategorie auf deiner Website, in deinen Profilen und in Drittanbieter-Einträgen.

Füge dann Schema dort hinzu, wo es natürlich ist, und priorisiere die Typen, die deine Entität und ihre Beziehungen definieren:

• Organization- und sameAs-Schema mit Links zu deinem Wikipedia-Eintrag, deinem Wikidata-Eintrag und deinen Social-Profilen

• Person-Schema für die Autoren deiner Website

• Product-Schema für deine Angebote

Zum Schluss noch dieser Gedanke: Ein wachsender Teil der „Leser“, die du beeinflussen möchtest, sind in Wirklichkeit KI-Agenten, die im Namen deiner Zielgruppe browsen und einkaufen.

Tatsächlich hat der Cloudflare-CEO Matthew Prince im Juni 2026 bekannt gegeben, dass agentischer Traffic (Bot-/Crawler-/Agent-Traffic) zum ersten Mal in der Geschichte des Internets die 50-%-Marke überschritten hat.^{2, 3}

Weit davon entfernt, ein Randfall oder eine Neuheit zu sein, sind die Suchanfragen nach „agentic AI“ in drei Jahren um das 84-Fache gestiegen – während die Kosten für den Betrieb eines Agenten von Dollar auf Cent gefallen sind.

Du musst deine Website noch nicht ausschließlich für KI-Agenten neu aufbauen. Aber der alte Rat, Content nur für Menschen zu erstellen und sich nicht um Robots zu kümmern, hält wahrscheinlich nicht mehr ganz so gut stand wie früher.

In diesem Kapitel geht es darum, die KI zu beeinflussen, der Menschen vertrauen – und Agent-to-Agent-Marketing ist genau das, nur einen Schritt weitergedacht.