Як оптимізувати вебсайт для пошукових систем відповідей

Жодна порада з цього гайда не має значення, якщо сканери ШІ не можуть читати ваші сторінки. Заблоковані сторінки не можуть бути процитовані, і часто це стається випадково.

Ми проаналізували близько 140 мільйонів вебсайтів і виявили, що GPTBot тепер є ботом ШІ, якого блокують найчастіше (5,89% сайтів), а ClaudeBot — недалеко позаду.

Cloudflare за замовчуванням блокує платформи ШІ, тож перевірте, чи ваш CDN непомітно не виключив вас.

“Дозволити сканерам ШІ” — це не одне рішення, адже кожна платформа запускає кілька ботів, які виконують різні завдання.

Лише OpenAI має три:

• GPTBot збирає контент для навчання
• OAI-SearchBot створює пошуковий індекс, з якого ChatGPT отримує дані
• ChatGPT-User завантажує сторінку в реальному часі, коли хтось запитує про неї під час розмови

Компроміси в кожному випадку різні. Блокування GPTBot не дозволяє вашому контенту потрапити в навчальні дані наступної моделі — саме це зазвичай і зважують видавці. Блокування OAI-SearchBot прибирає вас з індексу, у якому ChatGPT виконує пошук, а це вже сьогодні коштує вам цитувань і реферального трафіку. Багато сайтів випадково блокують друге, хоча мали на меті лише перше.

Найшвидший спосіб зрозуміти, яка у вас ситуація, — скористатися інструментом на кшталт AI Crawler Access Checker, який читає ваш robots.txt і показує, яким сканерам дозволено доступ.

Щоб побачити, які боти реально приходять, а не лише які дозволені, перегляньте Bot Analytics від Ahrefs. Він відстежує візити за 12 категоріями ботів, включно з окремим фільтром ШІ, використовуючи серверні дані через Cloudflare, тож працює без додавання JavaScript на ваш сайт.

Сканери ШІ зазвичай читають сирий HTML і здебільшого не рендерять JavaScript так, як це робить браузер.

Це означає, що все, що з’являється лише після виконання JS на боці клієнта, може бути для них невидимим.

Щоб не ризикувати, дотримуйтеся серверного рендерингу — так у вашої сторінки буде найкращий шанс на видимість у ШІ.

Сторінки з повільним завантаженням можуть негативно впливати на вашу ефективність у традиційному пошуку, але, схоже, у системах відповідей штраф ще суворіший. Схоже, швидкість сторінки допомагає визначити, чи потрапите ви взагалі в контекстне вікно моделі.¹

Перевірте швидкість сторінки (так званий час до першого байта) у Site Audit:

llms.txt — це запропонований стандарт для Markdown-файла в корені домену (наприклад, website.com/llms.txt), який підказує LLM, де розміщений ваш найкращий контент: документація, політики, таксономії продуктів. За задумом це як robots.txt для мовних моделей.

Але на практиці жоден великий постачальник LLM не зобов’язався його читати. Ні OpenAI, ні Anthropic, ні Google.

Ми перевірили, що насправді відбувається, коли сайт додає llms.txt. Серед 137 000 доменів, що використовують Ahrefs Web Analytics, 28% публікують файл llms.txt. Із приблизно 38 000, які мають валідний файл, 97% отримали нуль запитів до нього за місяць, який ми вимірювали.

Із тієї невеликої частки файлів, які все ж були завантажені, 96% запитів надійшло від ботів. Slackbot, бот попереднього перегляду посилань, завантажував llms.txt частіше, ніж PerplexityBot. Простіше кажучи, найважливіші пошукові системи ШІ, схоже, його не використовують.

Google прямо про це сказав. У його посібнику про оптимізацію для функцій генеративного ШІ є розділ із буквальним заголовком «розвінчання міфів», у якому власникам сайтів пояснюють: машиночитані файли на кшталт llms.txt не потрібні, щоб з’являтися в пошуку з генеративним ШІ. John Mueller пішов ще далі, порівнявши це зі старим метатегом keywords:

То чи варто створювати такий файл? Якщо ви публікуєте документацію для розробників, це займе близько десяти хвилин і має правдоподібний сценарій використання. Мюллер описав це як “тимчасову підпірку, можливо, щоб заощадити трохи токенів” для інструментів ШІ для програмування, які аналізують документацію. Для всіх інших це зусилля без вимірюваної віддачі плюс невеликий мінус: конкурентам буде легше масово скрейпити ваш контент.

ШІ-асистенти вигадують посилання на ваш сайт — і роблять це часто. Ми перевірили HTTP-статус 16 мільйонів URL, на які посилаються ChatGPT, Perplexity, Copilot, Gemini, Claude і Mistral, і виявили, що ШІ-асистенти спрямовують відвідувачів на сторінки 404 у 2,87 раза частіше, ніж це робить Google Search.

ChatGPT — безперечний лідер серед проблемних сервісів. 1,01% URL, за якими переходять користувачі, повертають 404, тоді як базовий показник Google — 0,15%.

Perplexity (0,87%) і Gemini (0,86%) майже точно відповідають власному показнику Google — 0,84% — для цитованих URL. Це логічно, адже обидва беруть дані з індексу Google, тож успадковують його пошкоджені посилання, а не вигадують свої.

Вигадані URL виводяться з ваших наявних патернів. Поширеним “галюцинованим” URL для нашого сайту був ahrefs.com/keywords, бо ми постійно пишемо про ключові слова, і модель припускала, що така сторінка обов’язково має існувати. Але її немає.

Це одна з небагатьох справді безкоштовних перемог в AEO. Людина з реальним наміром запитала про ваш продукт, перейшла на ваш сайт — і зайшла в глухий кут. Ви зіткнетеся з трьома різними типами:

• Галюциновані URL-адреси. Сторінки, які модель вигадала на основі структури ваших URL.
• Застарілі URL. Сторінки, які колись існували й збереглися в навчальних даних або інших застарілих джерелах.
• URL із помилками або варіаціями. Майже збіги з реальними сторінками.

Саме тому ми додали у Вебаналітику фільтр, який допоможе знайти “галюциновані” URL буквально за два кліки. Якщо ви шукаєте просту альтернативу Google Analytics, безкоштовну для обсягу до 1 мільйона подій щомісяця, спробуйте:

Якщо «галюцинований» URL продовжують запитувати, модель підказує, яку сторінку відвідувачі очікують побачити у вас.

Кожна тактика в цьому гайді зрештою залежить від одного: чи розпізнають системи ШІ ваш бренд як окрему сутність.

Граф знань Google — база даних із 54 мільярдами сутностей і понад 1,6 трильйона фактів про зв’язки між ними — більше не є просто механізмом, що стоїть за панелями знань.

Тепер це базова інфраструктура для оглядів від ШІ, AI Mode та Gemini.

Якщо ваш бренд не має чітко сформованого статусу сутності й послідовних сигналів на вашому сайті, у структурованих даних та авторитетних сторонніх джерелах, ви ризикуєте бути невидимими у відповідях ШІ — не лише в синіх посиланнях.

Schema часто продають як швидку перемогу для видимості в ШІ, і поверхнева кореляція виглядає переконливо: сторінки, на які посилається ШІ, майже втричі частіше мають JSON-LD.

Але кореляція — не причина. Ми відстежили 1 885 сторінок, які додали JSON-LD, порівняно з 4 000 контрольними, і не виявили суттєвого зростання в AI Mode чи ChatGPT, натомість зафіксували невелике падіння в «Оглядах від ШІ», яке ми не змогли пов’язати зі schema.

То schema марна? Ні, але її роль — повільна й непряма; це не тактика швидкого результату.

Ви можете перевірити, чи Google уже розпізнає вас, за допомогою API Knowledge Graph від Google або безплатного інструмента перевірки — щоб побачити, який тип сутності він вам призначив і чи правильні атрибути.

Наприклад, інструмент Knowledge Graph від Carl Hendy показує результати для людей, компаній, продуктів, місць та інших сутностей.

Далі спробуйте отримувати згадки в авторитетних виданнях і всюди підтримувати узгодженість фактів: однакова назва, опис і категорія на вашому сайті, у профілях і в сторонніх довідниках.

Потім додайте розмітку Schema там, де це доречно, надаючи пріоритет типам, які визначають вашу сутність і її зв’язки:

• Schema Organization і sameAs, що посилаються на ваші профілі у Wikipedia, Wikidata та соцмережах

• Schema Person для авторів вашого сайту

• Schema Product для ваших пропозицій

Наостанок така думка: дедалі більша частка «читачів», на яких ви намагаєтеся вплинути, насправді є ШІ-агентами, що переглядають і купують від імені вашої аудиторії.

Насправді в червні 2026 року CEO Cloudflare Matthew Prince повідомив, що агентний трафік (бот/сканер/агент) уперше в історії інтернету перевищив позначку 50%.^{2, 3}

Це далеко не рідкісний випадок і не новинка: за три роки кількість пошукових запитів “агентний ШІ” зросла у 84 рази, адже вартість роботи агента впала з доларів до центів.

Поки що вам не потрібно перебудовувати сайт лише для ШІ-агентів. Але стара порада створювати контент тільки для людей і не перейматися роботами, схоже, вже не так добре працює, як раніше.

Цей розділ про те, як впливати на ШІ, якому довіряє людина; маркетинг «агент для агента» — це те саме, але на крок далі.