Посібник для початківців з технічної пошукової оптимізації
Автор: Patrick Stox
Технічне SEO в Ahrefs
Технічне SEO — найважливіша частина SEO, але лише до певного моменту. Сторінки мають бути придатними для сканування й індексації, щоб узагалі отримати шанс на ранжування, але багато інших заходів матимуть мінімальний вплив, як порівняти з контентом і посиланнями.
Ми створили цей посібник для початківців, щоб допомогти вам розібратися з основами й зрозуміти, на що найкраще спрямувати свій час, щоб досягти максимального ефекту.
Основи технічного SEO
Що таке технічне SEO?
Технічне SEO — це практика оптимізації вашого вебсайту, яка допомагає пошуковим системам знаходити, сканувати, розуміти й індексувати ваші сторінки. Воно сприяє підвищенню видимості й позицій у пошукових системах. І для ШІ-пошуку воно теж має значення.
Наскільки складне технічне SEO?
Як подивитися. Базові принципи опанувати не так складно, але технічне SEO може бути всебічним і непростим для розуміння. У цьому посібнику я спробую пояснювати все якомога простіше.
Чи має значення технічне SEO для ШІ-пошуку?
Так. ШІ-пошук все ще залежить від придатних для сканування, добре структурованих, надійних вебсторінок. Технічне SEO допомагає зробити вебсайт швидким, доступним та індексованим, а це підвищує ймовірність того, що ваш контент використовуватимуть як у відповідях ШІ, так і в традиційному пошуку.
Розуміння сканування
У цьому розділі ми розглянемо, як переконатися, що пошукові системи можуть ефективно сканувати ваш контент.
Як працює сканування
Сканування — це етап, на якому пошукові системи отримують контент зі сторінок і використовують розміщені на них посилання, щоб знаходити ще більше сторінок. Існує кілька способів контролювати, що саме сканується на вашому вебсайті. Ось кілька варіантів.
Robots.txt
Файл robots.txt повідомляє пошуковим системам і ШІ-платформам, куди вони можуть і не можуть заходити на вашому вебсайті.
Більшість пошукових систем і ШІ-сканерів дотримуються ваших налаштувань robots.txt. Якщо ви явно забороните їм доступ, вони виконають цю вказівку й не скануватимуть ваш контент і не використовуватимуть його в навчальних даних. Але якщо ви забороните пошуковим системам і LLM використовувати ваш вебсайт як навчальний матеріал, то також зменшите свої шанси потрапити в їхні відповіді.
Чи знали ви?
Google та деякі LLM можуть індексувати сторінки, навіть якщо не можуть їх просканувати, якщо на ці сторінки вказують посилання. Це може збивати з пантелику, але якщо ви хочете запобігти індексації сторінок, ознайомтеся з цим посібником і блок-схемою, які можуть допомогти розібратися в цьому процесі.
LLMs.txt
LLMs.txt — це добровільний стандарт, який повідомляє великі мовні моделі (LLM), як вони можуть використовувати ваш контент, але, як ми пояснюємо в нашому посібнику з LLMs.txt, він не є особливо ефективним і, найімовірніше, не вартий зусиль.
Наразі немає доказів, що LLMs.txt покращує ШІ-пошук, збільшує трафік або підвищує точність моделей.
Швидкість сканування
Обмеження доступу
Якщо ви бажаєте, щоб сторінка була доступна для певних користувачів, але не для пошукових систем, то, найімовірніше, вам підійде один із цих трьох варіантів:
- Якась система входу
- HTTP-аутентифікація (де потрібен пароль для доступу)
- Білий список IP (який дозволяє доступ до сторінок лише з конкретних IP-адрес)
Такий тип налаштування найкраще підходить для внутрішніх мереж, контенту лише для учасників або ж стейджингових, тестових або розробницьких вебсайтів. Це дозволяє групі користувачів отримати доступ до сторінки, а от пошукові системи не зможуть її переглядати й не додаватимуть до індексу.
Як побачити активність сканування
У випадку з Google найпростіший спосіб побачити, що він сканує, — це звіт «Статистика сканування» у Google Search Console, який дає вам більше інформації про те, як він сканує ваш вебсайт.
Щоб переглянути всю активність сканування вашого вебсайту, зокрема ШІ-сканери, вам потрібно отримати доступ до журналів свого сервера та, ймовірно, скористатися інструментом для детальнішого аналізу даних. Це може бути досить складно. Але якщо у вашого хостингу є панель керування на кшталт cPanel, ви, найімовірніше, матимете доступ до неопрацьованих журналів і деяких агрегаторів, як-от AWstats і Webalizer.
Корегування сканування
Кожен вебсайт матиме різний бюджет сканування, тобто поєднання того, як часто Google готовий сканувати вебсайт і який обсяг сканування дозволяє сам вебсайт. Популярніші сторінки й сторінки, які часто оновлюються, скануватимуться частіше, а сторінки, що не виглядають популярними або не мають достатньо посилань, — рідше.
Якщо під час обходу вашого вебсайту сканери виявляють ознаки навантаження, вони зазвичай сповільнюють сканування або навіть тимчасово припиняють його, доки ситуація не покращиться.
Після сканування сторінки рендеряться й надсилаються до індексу. Індекс — це головний перелік сторінок, які можуть повертатися у відповідь на пошукові запити. Тож поговорімо про індекс.
Як працює індексація
У цьому розділі ми поговоримо про те, як переконатися, що ваші сторінки індексуються, і як перевіряти, яким саме чином вони індексуються.
Директиви robots
Метатег robots — це HTML-фрагмент, який указує пошуковим системам, як сканувати або індексувати ту чи іншу сторінку. Його розміщують у розділі <head> вебсторінки, і він має такий вигляд:
<meta name="robots" content="noindex" />
Канонізація
Коли дубльований контент призводить до створення кількох версій однієї й тієї самої сторінки, Google вибирає одну з них для збереження у своєму індексі. Цей процес називається канонізацією, а URL-адресу, вибрану як канонічну, Google показуватиме в результатах пошуку. Для вибору канонічної URL-адреси Google використовує багато різних сигналів, зокрема:
Найпростіший спосіб побачити, як Google проіндексував сторінку, — скористатися інструментом перевірки URL-адрес у Google Search Console. Він покаже вам канонічну URL-адресу, яку вибрав Google.
Швидкі результати в технічному SEO
Одне з найскладніших завдань у SEO — правильно визначати пріоритети. Існує чимало найкращих практик, але одні зміни впливають на позиції та трафік значно сильніше за інші. Ось кілька проєктів, які, на мою думку, варто поставити в пріоритет.
Перевірка індексації
Переконайтеся, що сторінки, які мають знаходити користувачі, можуть бути індексовані в Google. Два попередні розділи були присвячені саме скануванню й індексації, і це не випадково.
Щоб знайти сторінки, які не індексуються, і зрозуміти причини, перегляньте звіт «Придатність до індексування» у Site Audit. Він доступний в Ahrefs Free.
Виконайте безплатний технічний SEO-аудит
Зареєструвавшись тут, ви отримаєте доступ до Ahrefs Free ↗
Відновлення втрачених посилань
З часом URL-адреси вебсайтів часто змінюються. У багатьох випадках на старі URL-адреси вже ведуть посилання з інших вебсайтів. Якщо не перенаправити їх на актуальні сторінки, ці посилання буде втрачено, і вони більше не передаватимуть цінність вашим сторінкам. Але зробити такі перенаправлення ще не пізно, тож ви можете швидко повернути втрачену цінність. Вважайте це найшвидшим лінкбілдінгом, який вам будь-коли доводилося робити.
Знайти можливості для повернення втрачених посилань можна в Site Explorer від Ahrefs. Введіть свій домен, відкрийте звіт «Кращі за посиланнями» і застосуйте фільтр HTTP-відповіді «404 не знайдено». Я зазвичай також сортую список за реферальними доменами.
Ось як це виглядає для 1800flowers.com:
Перша URL-адреса на archive.org раніше вела на сторінку до Дня матері. Налаштувавши перенаправлення лише з цієї сторінки на її поточну версію, ви зможете повернути 225 посилань із 59 різних вебсайтів. І подібних можливостей чимало.
Я навіть створив скрипт для зіставлення перенаправлень. Не лякайтеся: вам просто потрібно завантажити пару файлів і надіслати їх. Блокнот Colab крок за кроком покаже, що робити, і візьме на себе всю важку роботу.
Щоб повернути втрачену цінність, потрібно налаштувати 301 редирект будь-яких старих URL-адрес на їхні поточні адреси.
Чи знали ви?
301 редирект — це постійне перенаправлення. Будь-які посилання, що вказують на перенаправлену URL-адресу, Google зарахує до нової URL-адреси.[3]
Додавання внутрішніх посилань
Внутрішні посилання — це посилання з однієї сторінки вашого вебсайту на іншу сторінку вашого вебсайту. Вони допомагають знаходити ваші сторінки, а також сприяють кращому ранжуванню. У межах Site Audit ми пропонуємо інструмент під назвою Internal Link Opportunities, який допомагає швидко знаходити ці можливості.
Цей інструмент шукає на вашому вебсайті згадки ключових слів, за якими ви вже ранжуєтеся. Потім він пропонує їх як можливості для контекстних внутрішніх посилань.
Наприклад, інструмент показує згадку про «faceted navigation» (фасетну навігацію) у нашому посібнику про дубльований контент. Оскільки Site Audit знає, що в нас є сторінка про фасетну навігацію, він пропонує додати на неї внутрішнє посилання.
Додавання розмітки Schema
Розмітка Schema — це код, який допомагає пошуковим системам краще розуміти ваш контент і забезпечує багато функцій, які можуть допомогти вашому вебсайту вирізнятися з-поміж інших у результатах пошуку. Це також може допомогти LLM правильно інтерпретувати контент вашої сторінки. Google має галерею пошуку, яка показує різні функції пошуку й розмітку Schema, необхідну для того, щоб ваш вебсайт був придатний для їхнього використання.
Технічне SEO для ШІ-пошуку
ШІ змінив спосіб пошуку контенту користувачами та його показ, але він так само спирається на основу у вигляді придатних для сканування, добре структурованих і надійних вебсторінок. Це також впливає на підхід до створення й оптимізації контенту.
Увага до кількох технічних чинників, специфічних для ШІ, може допомогти вам залишатися помітними на всіх платформах, де люди шукають інформацію.
Зробіть свій вебсайт доступним для LLM
Як і пошукові системи, LLM потрібно мати можливість сканувати ваш вебсайт і отримувати доступ до його контенту. Проте вони працюють трохи по-іншому, ніж сканери пошукових систем.
Наприклад, більшість LLM не рендерять JavaScript — поширену мову програмування, яку використовують для створення вебсайтів. Якщо ключовий контент або навігація з’являються лише після завантаження JavaScript, деякі ШІ-сканери можуть його не побачити. Тому JavaScript краще не використовувати для критично важливого контенту, який ви хочете зробити видимим в ШІ-пошуку.
Також варто перевірити, чи не блокують сторонні інструменти доступ ШІ-сканерів до вашого вебсайту.
Наприклад, Cloudflare впровадив нові функції, що дозволяють власникам вебсайтів контролювати, чи можуть ШІ-платформи збирати контент для своїх навчальних наборів даних.
Налаштування за замовчуванням блокує ШІ-сканерам доступ до контенту. Однак вам потрібно буде вимкнути його, якщо ви хочете, щоб ваш контент максимально сприяв вашій видимості в результатах ШІ-пошуку.
Перенаправлення для URL-адрес, які не існують
Пошукові системи ШІ можуть цитувати URL-адреси, які не існують, у вашому домені. Ви можете виявити їх у Web Analytics Ahrefs, переглядаючи сторінки, які отримують трафік із ШІ-пошуку:
Якщо будь-яка з цих сторінок повертає помилку 404 Error, це означає, що система ШІ могла вигадати URL-адресу. Щоб уникнути втрати трафіку, ви можете перенаправити цю URL-адресу на відповідну живу справжню сторінку.
Регулярний моніторинг запобігає розчаруванню користувачів і захищає авторитетність бренду.
Виявлення контенту ШІ
Хоча використовувати ШІ для створення контенту для вашого вебсайту цілком нормально, надмірна кількість ШІ-контенту може сприйматися як спам-сигнал, що обмежує видимість вашого контенту як у традиційних пошукових системах, так і в ШІ-пошуку.
Ви можете використовувати ШІ-детектор від Ahrefs у Site Explorer > Page Inspect, щоб побачити, як машини можуть інтерпретувати рівень використання ШІ у вашому контенті.
Це також можна масово перевірити у звіті «Найкращі сторінки», де можна виявити сторінки, які, можливо, потрібно переписати:
Код, вставлений ШІ-інструментами
Якщо ви використовували ШІ для створення вебсайту або додавання нових функцій, він може вставити додатковий HTML-код, який розкриває факт використання ШІ.
В одному з випадків через помилку в Yoast SEO на сторінки вставлялися приховані класи, пов’язані з ШІ, що явно вказувало пошуковим системам на використання ШІ.
Якщо ви використовуєте ШІ-інструменти для внесення змін на сторінці, перевіряйте вихідний код вебсайту, щоб упевнитися, що туди не потрапляє нічого зайвого. Прихованих «відбитків» на кшталт цього можна уникнути за допомогою регулярних перевірок й тестування коду перед публікуванням оновлень.
Додаткові проєкти технічного SEO
Проєкти, які ми розглянемо в цьому розділі, безперечно заслуговують на увагу, але можуть потребувати більше зусиль і приносити менше користі, ніж проєкти з категорії «швидких результатів» із попередньої частини. Це не означає, що ними не варто займатися. Просто так вам буде зрозуміліше, як визначати пріоритетність різних проєктів.
Сигнали зручності сторінки
Це менш вагомі чинники ранжування, але на них усе одно варто звертати увагу заради ваших користувачів. Вони охоплюють аспекти вебсайту, які впливають на досвід користування (UX).
Сигнали зручності сторінки в пошуку Google
https://ahrefs.com/blog/core-web-vitals/
Core Web Vitals
Core Web Vitals — це метрики швидкодії, що входять до сигналів Google зручності сторінки, які використовують для оцінювання досвіду користування. Вони вимірюють швидкість візуального завантаження за допомогою Largest Contentful Paint (LCP), візуальну стабільність — за допомогою Cumulative Layout Shift (CLS), а інтерактивність — за допомогою First Input Delay (FID).
HTTPS
HTTPS захищає обмін даними між вашим браузером і сервером від перехоплення й втручання з боку зловмисників. Це забезпечує конфіденційність, цілісність та автентичність для переважної більшості сучасного вебтрафіку. Ваші сторінки мають завантажуватися через HTTPS, а не HTTP.
Якщо в адресному рядку будь-якого вебсайту відображається значок замка, це означає, що цей вебсайт використовує HTTPS.
Зручність для мобільних пристроїв
Простіше кажучи, це перевірка того, чи вебсторінки правильно відображаються і чи ними легко користуватися на мобільних пристроях.
Як дізнатися, наскільки ваш вебсайт зручний для мобільних пристроїв? Перегляньте звіт «Зручність для мобільних пристроїв» у Google Search Console.
Цей звіт повідомляє вам, чи є у будь-яких ваших сторінок проблеми з мобільним дружелюбством.
Міжсторінкова реклама
Міжсторінкові оголошення блокують перегляд контенту. Це спливні вікна, які перекривають основний контент і з якими користувачам іноді доводиться взаємодіяти, щоб їх закрити.
Hreflang — для кількох мов
Hreflang — це HTML-атрибут для вказування мови вебсторінки та її географічного націлення. Якщо одна й та сама сторінка має кілька мовних версій, тег hreflang допомагає повідомити про них пошуковим системам, як-от Google. Завдяки цьому вони можуть показувати користувачам правильну версію сторінки.
Ahrefs тепер допомагає спростити впровадження hreflang за допомогою візуального графа посилань hreflang у Site Audit.
Цей граф hreflang показує всі мовні варіанти сторінки та виділяє будь-які проблеми конфігурації. Крім того, він позначає помилки, такі як недійсні коди мов, відсутні самопосилання й відсутність взаємних тегів, а також надає чіткі вказівки щодо їхнього виправлення.
Загальне обслуговування / стан вебсайту
Ці завдання навряд чи сильно вплинуть на ваші рейтинги, але загалом є корисними для покращення досвіду користування.
Пошкоджені посилання
Пошкоджені посилання — це посилання на вашому вебсайті, які ведуть до ресурсів, що не існують. Вони можуть бути як внутрішніми (тобто ведуть на інші сторінки вашого домену), так і зовнішніми (тобто ведуть на сторінки на інших доменах).
Ви можете швидко знаходити пошкоджені посилання на своєму вебсайті за допомогою Site Audit у звіті «Посилання». Це доступно в Ahrefs Free.
Ланцюжки перенаправлень
Ланцюжки перенаправлень — це серія перенаправлень між початковою та кінцевою URL-адресами.
Ви можете швидко знайти ланцюжки перенаправлень на своєму вебсайті за допомогою Site Audit у звіті «Перенаправлення». Це доступно в Ahrefs Free.
Інструменти технічного SEO
Ці інструменти допомагають покращити технічні аспекти вашого вебсайту.
Google Search Console (раніше Google Webmaster Tools) — це безплатна служба від Google, яка допомагає вам відстежувати й усувати несправності появи вашого вебсайту в його результатах пошуку.
Використовуйте його для пошуку та виправлення технічних помилок, подання карт сайту, перегляду проблем зі структурованими даними тощо.
Bing та Yandex мають власні версії, як і Ahrefs. Ahrefs Free допомагає покращити SEO-ефективність вашого вебсайту. Він дозволяє:
- Контролюйте стан SEO вашого вебсайту.
- Виявляйте понад 100 проблем із SEO.
- Переглядайте всі беклінки.
- Перегляньте всі ключові слова, за якими ви займаєте місце в рейтингу.
- Дізнайтеся, скільки трафіку отримують ваші сторінки.
- Виявляйте можливості для внутрішніх посилань.
Це наша відповідь на обмеження Google Search Console.
Тест Google на зручність для мобільних пристроїв перевіряє, наскільки зручно відвідувачу користуватися вашою сторінкою на мобільному пристрої. Він також виявляє конкретні проблеми зі зручністю на мобільних пристроях, як-от надто дрібний для читання шрифт, використання несумісних плагінів тощо.
Тест на зручність для мобільних пристроїв показує, що бачить Google, коли сканує сторінку. Ви також можете виконати перевірку розширених результатів, щоб побачити контент, який Google бачить на комп’ютерах або мобільних пристроях.
Chrome DevTools — це вбудований інструмент налагодження вебсторінок Chrome. Використовуйте його, щоб виявляти проблеми зі швидкістю сторінки, покращувати продуктивність рендерингу вебсторінок тощо.
З погляду технічного SEO, сфера його застосування майже безмежна.
Панель інструментів Ahrefs SEO — це безплатне розширення для Chrome та Firefox, яке надає корисні SEO-дані про сторінки й вебсайти, які ви відвідуєте.
Його безплатні можливості:
- Звіт із SEO на сторінці
- Інструмент для відстеження перенаправлень із HTTP-заголовками
- Інструмент перевірки пошкоджених посилань
- Виділення посилань
- Позиції в SERP
Крім того, як користувач Ahrefs, ви отримуєте:
- SEO-метрики для кожного вебсайту та сторінки, які ви відвідуєте, а також для результатів пошуку Google
- Метрики ключових слів, як-от обсяг пошуку й складність ключового слова, безпосередньо в SERP
- Експорт результатів SERP
PageSpeed Insights аналізує швидкість завантаження ваших вебсторінок. Окрім оцінки продуктивності, цей інструмент також показує практичні рекомендації для пришвидшення завантаження сторінок.
Ключові висновки
- Якщо ваш контент не проіндексовано, то його не знайдуть у пошукових системах.
- Якщо виникла проблема, яка шкодить пошуковому трафіку, її усунення може бути пріоритетним. Але для більшості вебсайтів, мабуть, корисніше буде витратити час на контент і посилання.
- Багато технічних проєктів, які мають найбільший вплив, стосуються індексації або посилань.
- Технічне SEO усе ще важливе для ШІ-пошуку. Добре структуровані, доступні для сканування сторінки допомагають ШІ-системам знаходити, розуміти й показувати ваш контент.
Згадування
- «Чи ігнорує Googlebot директиву crawl-delay?». Google Search Central. 21 грудня 2017 року
- «Змінення частоти сканування Googlebot». Google. Отримано 9 вересня 2022 року
- «Редиректи з кодом 30x більше не призводять до втрати PageRank». Ґері Ілліс. 26 липня 2016 року
Патрік Стокс — радник із продукції, технічний SEO й амбасадор бренду в Ahrefs. Він був провідним автором розділу SEO вебальманаху 2021 року й рецензентом розділу SEO 2022 року. Він також є співавтором книги «SEO Book For Beginners» (SEO для початківців) від Ahrefs і був технічним редактором для 4-го видання «The Art of SEO» (Мистецтво SEO). Організатор Triangle SEO Meetup і конференції Tech SEO Connect, керує технічною SEO Slack-групою і є модератором /r/TechSEO на Reddit.
Опануйте SEO крок за кроком
Як працюють пошукові системи
Перш ніж почати вивчати SEO, потрібно зрозуміти, як працюють пошукові системи.
Основи SEO
Дізнайтеся, як налаштувати свій вебсайт для успіху в SEO, і дізнайтеся про чотири основні аспекти SEO.
Дослідження ключових слів
Відправною точкою в SEO є розуміння того, що шукають ваші цільові клієнти.
SEO-контент
Дізнайтеся, як створити контент, який займає місце в пошукових системах.
Внутрішня оптимізація сторінки
Саме тут ви оптимізуєте список сторінок, що допоможуть пошуковим системам їх зрозуміти.
Лінкбілдінг
Посилання допомагають пошуковим системам знаходити нові сторінки й оцінювати їхню «авторитетність». Без посилань складно досягти високих позицій за конкурентними запитами.
Технічне SEO
Важливо переконатися, що немає технічних помилок, які заважають Google отримати доступ до вашого вебсайту та правильно розуміти його.
Локальне SEO
Дізнайтеся, як покращити свою видимість у локальних результатах пошуку й залучити більше клієнтів із вашого району.
Що означає ШІ для SEO
Сьогодні неможливо говорити про SEO, не згадуючи генеративний ШІ.