Посібник для початківців з технічної пошукової оптимізації
Автор: Patrick Stox
Технічне SEO в Ahrefs
Технічне SEO — найважливіша частина SEO, доки це не так. Сторінки повинні бути доступними для сканування та індексації, щоб мати хоча б шанс на ранжування, але багато інших заходів матимуть мінімальний вплив порівняно з контентом і посиланнями.
Ми написали цей посібник для початківців, щоб допомогти вам зрозуміти деякі основи та де ваш час найкраще витрачається для максимізації впливу.
Основи технічного SEO
Що таке технічне SEO?
Технічне SEO — це практика оптимізації вашого вебсайту, щоб допомогти пошуковим системам знаходити, сканувати, розуміти та індексувати ваші сторінки. Це допомагає збільшити видимість і рейтинги в пошукових системах. Це також важливо для пошуку ШІ.
Наскільки складне технічне SEO?
Це залежить. Основи насправді не важко освоїти, але технічне SEO може бути складним і важким для розуміння. Я буду тримати речі якомога простими з цим посібником.
Чи має значення технічне SEO для ШІ-пошуку?
Так. Пошук ШІ все ще залежить від сканованих, добре структурованих, надійних веб-сторінок. Технічне SEO гарантує, що ваш сайт швидкий, доступний та індексований, все це покращує шанси того, що ваш контент буде використаний у відповідях, керованих ШІ, а також у традиційному пошуку.
Розуміння сканування
У цьому розділі ми розглянемо, як переконатися, що пошукові системи можуть ефективно сканувати ваш контент.
Як працює сканування
Сканування - це коли пошукові системи захоплюють контент зі сторінок і використовують посилання на них, щоб знайти ще більше сторінок. Існує кілька способів контролювати те, що сканується на вашому веб-сайті. Ось кілька варіантів.
Robots.txt
Файл robots.txt повідомляє пошуковим системам і ШІ-платформам, куди вони можуть і не можуть йти на вашому сайті.
Більшість пошукових систем і ШІ-сканерів поважають ваші налаштування robots.txt. Якщо ви явно забороняєте їм, вони підкоряться і не будуть сканувати ваш контент або включати його в тренувальні дані. Але якщо ви блокуєте пошукові системи і LLM від використання вашого вебсайту як тренувального матеріалу, ви також обмежуєте свої шанси стати видимими в їхніх відповідях.
Чи знали ви?
Google та деякі LLM можуть індексувати сторінки, які вони не можуть сканувати, якщо на ці сторінки вказують посилання. Це може бути заплутаним, але якщо ви хочете запобігти індексації сторінок, ознайомтеся з цим посібником і блок-схемою, які можуть провести вас через процес.
LLMs.txt
LLMs.txt — це добровільний стандарт для повідомлення великим мовним моделям (LLM), як вони можуть використовувати ваш контент, але, як ми пояснюємо в нашому посібнику з LLMs.txt, він не особливо ефективний і, ймовірно, не вартий зусиль.
Поки що немає доказів того, що LLMs.txt покращує пошук ШІ, збільшує трафік або підвищує точність моделі.
Швидкість сканування
Обмеження доступу
Якщо ви хочете, щоб сторінка була доступна деяким користувачам, але не пошуковим системам, то, ймовірно, вам потрібна одна з цих трьох опцій:
- Якась система входу
- HTTP-аутентифікація (де потрібен пароль для доступу)
- Внесення IP до білого списку (яке дозволяє доступ до сторінок лише певним IP-адресам)
Цей тип налаштування найкращий для таких речей, як внутрішні мережі, контент лише для учасників або для стейджингових, тестових або розробницьких сайтів. Це дозволяє групі користувачів отримати доступ до сторінки, але пошукові системи не зможуть отримати доступ до сторінки і не індексуватимуть її.
Як побачити активність сканування
Для Google конкретно найпростіший спосіб побачити, що він сканує, — це звіт "Crawl stats" у Google Search Console, який дає вам більше інформації про те, як він сканує ваш вебсайт.
Якщо ви хочете побачити всю активність сканування на вашому вебсайті, включаючи ШІ-сканери, вам потрібно буде отримати доступ до журналів вашого сервера і, можливо, використати інструмент для кращого аналізу даних. Це може стати досить складним. Але якщо у вашого хостингу є панель управління на кшталт cPanel, ви повинні мати доступ до необроблених журналів і деяких агрегаторів на кшталт AWstats і Webalizer.
Корегування сканування
Кожен вебсайт матиме різний бюджет сканування, який є поєднанням того, як часто Google хоче сканувати сайт і скільки сканування дозволяє ваш сайт. Більш популярні сторінки та сторінки, які часто змінюються, будуть скануватися частіше, а сторінки, які не здаються популярними або добре пов'язаними, будуть скануватися рідше.
Якщо сканери бачать ознаки стресу під час сканування вашого вебсайту, вони зазвичай уповільнюються або навіть припиняють сканування, доки умови не покращаться.
Після сканування сторінки рендеряться та надсилаються до індексу. Індекс — це головний список сторінок, які можуть бути повернені для пошукових запитів. Давайте поговоримо про індекс.
Розуміння індексації
У цьому розділі ми поговоримо про те, як переконатися, що ваші сторінки індексуються, і перевірити, як вони індексуються.
Інструкції з robots
Тег robots meta — це HTML-фрагмент, який повідомляє пошуковим системам, як сканувати або індексувати певну сторінку. Він розміщується в розділі <head> веб-сторінки і виглядає так:
<meta name="robots" content="noindex" />
Канонізація
Коли є дублікатний контент, що створює кілька версій однієї сторінки, Google вибере одну для збереження в своєму індексі. Цей процес називається канонізацією, а URL, вибраний як канонічний, буде тим, який Google показує в результатах пошуку. Він використовує багато різних сигналів для вибору канонічної URL-адреси, включаючи:
Найпростіший спосіб побачити, як Google проіндексував сторінку, – використати інструмент перевірки URL у Google Search Console. Він покаже вам канонічну URL-адресу, обрану Google.
Швидкі перемоги Технічного SEO
Одна з найскладніших речей для SEO-фахівців — це пріоритизація. Є багато найкращих практик, але деякі зміни матимуть більший вплив на ваші рейтинги та трафік, ніж інші. Ось деякі з проєктів, які я б рекомендував пріоритизувати.
Перевірити індексацію
Переконайтеся, що сторінки, які ви хочете, щоб люди знаходили, можуть бути індексовані в Google. Два попередні розділи були про сканування та індексацію, і це не випадково.
Ви можете перевірити звіт Indexability у Site Audit, щоб знайти сторінки, які не можуть бути індексовані, та причини чому. Це безкоштовно в Ahrefs Webmaster Tools.
Виконайте безкоштовний технічний SEO-аудит
Зареєструйтеся тут і почніть користуватися Ahrefs Webmaster Tools ↗ безкоштовно
Відновити втрачені посилання
Вебсайти схильні змінювати свої URL-адреси з роками. У багатьох випадках ці старі URL мають посилання з інших вебсайтів. Якщо вони не перенаправлені на поточні сторінки, то ці посилання втрачаються і більше не зараховуються для ваших сторінок. Ще не пізно зробити ці перенаправлення, і ви можете швидко повернути будь-яку втрачену цінність. Думайте про це як про найшвидший лінкбілдінг, який ви коли-небудь робитимете.
Ви можете знайти можливості повернути втрачені посилання, використовуючи Site Explorer Ahrefs. Введіть свій домен, перейдіть до звіту Кращі за посиланнями і додайте фільтр HTTP-відповіді "404 не знайдено". Зазвичай я сортую це за "реферальні домени".
Ось як це виглядає для 1800flowers.com:
Дивлячись на перший URL в archive.org, я бачу, що раніше це була сторінка Дня матері. Перенаправивши цю одну сторінку на поточну версію, ви поверните 225 посилань з 59 різних вебсайтів — і є ще багато можливостей.
Я навіть створив скрипт, щоб допомогти вам зіставити редиректи. Не лякайтеся; вам просто потрібно завантажити пару файлів і завантажити їх. Блокнот Colab проведе вас через це і подбає про важку роботу.
Ви захочете зробити 301 редирект будь-яких старих URL на їхні поточні місця, щоб відновити цю втрачену цінність.
Чи знали ви?
301 редирект — це постійне перенаправлення. Будь-які посилання, що вказують на перенаправлений URL, будуть зараховані до нового URL в очах Google.[3]
Додати внутрішні посилання
Внутрішні посилання — це посилання з однієї сторінки вашого сайту на іншу сторінку вашого сайту. Вони допомагають знаходити ваші сторінки, а також допомагають сторінкам краще ранжуватися. У нас є інструмент в Site Audit під назвою Internal Link Opportunities, який допомагає швидко знаходити ці можливості.
Цей інструмент працює, шукаючи згадки ключових слів, за якими ви вже ранжуєтесь на своєму сайті. Потім він пропонує їх як можливості для контекстних внутрішніх посилань.
Наприклад, інструмент показує згадку "фасетної навігації" в нашому посібнику з дублікатним контентом. Оскільки Site Audit знає, що у нас є сторінка про фасетну навігацію, він пропонує додати внутрішнє посилання на цю сторінку.
Додайте Schema розмітку
Schema-розмітка — це код, який допомагає пошуковим системам краще розуміти ваш контент і забезпечує багато функцій, які можуть допомогти вашому вебсайту вирізнятися з-поміж інших у результатах пошуку. Це також може допомогти LLM правильно інтерпретувати вміст вашої сторінки. Google має галерею пошуку, яка показує різні функції пошуку та Schema, необхідну для того, щоб ваш сайт мав право на участь.
Технічне SEO для пошуку ШІ
ШІ змінило те, як контент знаходиться і відображається шукачам, але він все ще залежить від основи сканованих, добре структурованих і надійних веб-сторінок. Це також змінює те, як ми створюємо та оптимізуємо контент.
Увага до кількох технічних факторів, специфічних для ШІ, може допомогти вам залишатися помітними там, де люди шукають інформацію.
Зробіть свій сайт доступним для LLM
Як і пошукові системи, LLM потрібно мати можливість сканувати ваш вебсайт і отримувати доступ до його контенту. Проте вони працюють трохи по-іншому, ніж сканери пошукових систем.
Наприклад, більшість LLM не рендерять JavaScript, поширену мову програмування, яка використовується для створення вебсайтів. Якщо ключовий контент або навігація з'являються лише після завантаження JavaScript, є ризик, що деякі ШІ-сканери не побачать його. Тому найкраще уникати використання його для будь-якого критично важливого контенту, який ви хочете бачити видимим у пошуку ШІ.
Також варто перевірити, чи блокують сторонні інструменти ШІ-сканери від доступу до вашого вебсайту.
Наприклад, Cloudflare впровадив нові функції, що дозволяють власникам вебсайтів контролювати, чи можуть ШІ-платформи збирати контент для своїх навчальних наборів даних.
Налаштування за замовчуванням блокує ШІ-сканерам доступ до контенту. Однак вам потрібно буде вимкнути його, якщо ви хочете, щоб ваш контент максимізував вашу видимість у результатах ШІ-пошуку.
Перенаправити галюциновані URL
Пошукові системи ШІ можуть цитувати URL-адреси у вашому домені, які не існують. Ви можете виявити їх у Web Analytics Ahrefs, переглядаючи сторінки, які отримують трафік з пошуку ШІ:
Якщо будь-яка з цих сторінок виводить 404 Error, система ШІ могла галюцинувати URL. Щоб уникнути втрати трафіку, ви можете перенаправити цей URL на відповідну живу сторінку.
Регулярний моніторинг запобігає розчаруванню користувачів і захищає авторитет бренду.
Виявлення контенту ШІ
Хоча допустимо використовувати ШІ для створення контенту для вашого вебсайту, надмірна кількість контенту ШІ може розглядатися як спам-сигнал, який обмежує видимість вашого контенту в традиційних і пошукових системах ШІ.
Ви можете використовувати ШІ-детектор Ahrefs у Site Explorer > Page Inspect, щоб побачити, як машини можуть інтерпретувати рівень використання ШІ у вашому контенті.
Ви також можете перевірити це в масовому порядку у звіті Топ-сторінки, щоб виявити існуючі сторінки, які, можливо, потрібно переписати:
Код, впроваджений ШІ-інструментами
Якщо ви використовували ШІ для допомоги у створенні вашого вебсайту або додавання нових функцій до нього, вони можуть додати додатковий HTML-код, який розкриває, що використовувалося ШІ.
В одному випадку помилка Yoast SEO вставила приховані класи, пов'язані з ШІ, на сторінки, що зробило очевидним для пошукових систем, що ШІ був залучений.
Якщо ви використовуєте ШІ-інструменти для внесення змін на сторінці, перевірте вихідний код сайту, щоб переконатися, що нічого несподіваного не додається. Прихованих "відбитків" як цей можна уникнути за допомогою регулярних оглядів коду та тестування перед публікацією оновлень.
Додаткові технічні SEO-проєкти
Проєкти, про які ми говоритимемо в цьому розділі, — це все хороші речі, на яких варто зосередитися, але вони можуть вимагати більше роботи і мати менше переваг, ніж "швидкі виграші" проєкти з попередньої частини. Це не означає, що ви не повинні їх робити. Це просто допомагає вам отримати уявлення про те, як пріоритизувати різні проєкти.
Сигнали досвіду сторінки
Це менші фактори ранжування, але все ж речі, на які ви хочете звернути увагу заради своїх користувачів. Вони охоплюють аспекти вебсайту, які впливають на користувацький досвід (UX).
Пошукові сигнали Google для досвіду сторінки
https://ahrefs.com/blog/core-web-vitals/
Core Web Vitals
Core Web Vitals — це метрики швидкості, які є частиною сигналів досвіду сторінки Google, що використовуються для вимірювання користувацького досвіду. Метрики вимірюють візуальне навантаження за допомогою Largest Contentful Paint (LCP), візуальну стабільність за допомогою Cumulative Layout Shift (CLS) та інтерактивність за допомогою First Input Delay (FID).
HTTPS
HTTPS захищає зв'язок між вашим браузером і сервером від перехоплення та підробки зловмисниками. Це забезпечує конфіденційність, цілісність та автентифікацію для переважної більшості сьогоднішнього WWW-трафіку. Ви хочете, щоб ваші сторінки завантажувалися через HTTPS, а не HTTP.
Будь-який вебсайт, який показує іконку "замка" в адресному рядку, використовує HTTPS.
Зручність для мобільних пристроїв
Простими словами, це перевіряє, чи веб-сторінки відображаються правильно і легко використовуються людьми на мобільних пристроях.
Як дізнатися, наскільки ваш сайт зручний для мобільних пристроїв? Перевірте звіт "Зручність для мобільних пристроїв" у Google Search Console.
Цей звіт повідомляє вам, чи є у будь-яких ваших сторінок проблеми з мобільним дружелюбством.
Міжсторінкова реклама
Інтерстиціали блокують перегляд контенту. Це спливаючі вікна, які покривають основний контент і з якими користувачам, можливо, доведеться взаємодіяти, перш ніж вони зникнуть.
Hreflang — Для кількох мов
Hreflang — це HTML-атрибут, який використовується для вказівки мови та географічного таргетингу вебсторінки. Якщо у вас є кілька версій однієї сторінки різними мовами, ви можете використовувати тег hreflang, щоб повідомити пошуковим системам, таким як Google, про ці варіації. Це допомагає їм подавати правильну версію своїм користувачам.
Ahrefs тепер допомагає спростити впровадження hreflang за допомогою візуального графа посилань hreflang у Site Audit.
Цей графік hreflang показує всі мовні варіанти сторінки та виділяє будь-які проблеми конфігурації. Крім того, він позначає помилки, такі як недійсні коди мов, відсутні самопосилання та відсутність взаємних тегів, і надає чіткі вказівки щодо їх виправлення.
Загальне обслуговування/здоров'я вебсайту
Ці завдання навряд чи сильно вплинуть на ваші рейтинги, але загалом є хорошими речами для виправлення користувацького досвіду.
Пошкоджені посилання
Пошкоджені посилання — це посилання на вашому сайті, які вказують на неіснуючі ресурси. Вони можуть бути як внутрішніми (тобто до інших сторінок вашого домену), так і зовнішніми (тобто до сторінок на інших доменах).
Ви можете швидко знайти пошкоджені посилання на своєму вебсайті за допомогою Site Audit у звіті Links. Це безкоштовно в Ahrefs Webmaster Tools.
Ланцюги перенаправлень
Ланцюжки редиректів — це серія редиректів, що відбуваються між початковою URL-адресою та кінцевою URL-адресою.
Ви можете швидко знайти ланцюги перенаправлень на своєму вебсайті за допомогою Site Audit у звіті Перенаправлення. Це безкоштовно в Ahrefs Webmaster Tools.
Інструменти технічного SEO
Ці інструменти допомагають покращити технічні аспекти вашого вебсайту.
Google Search Console (раніше Google Webmaster Tools) — це безкоштовна служба від Google, яка допомагає вам відстежувати та усувати несправності появи вашого вебсайту в його результатах пошуку.
Використовуйте його для пошуку та виправлення технічних помилок, подання карт сайту, перегляду проблем зі структурованими даними тощо.
Bing та Яндекс мають свої власні версії, як і Ahrefs. Ahrefs Webmaster Tools — це безкоштовний інструмент, який допоможе вам покращити SEO-продуктивність вашого вебсайту. Він дозволяє вам:
- Контролюйте стан SEO вашого вебсайту.
- Перевірте понад 100 проблем з пошукової оптимізації.
- Перегляньте всі ваші беклінки.
- Перегляньте всі ключові слова, за якими ви займаєте місце в рейтингу.
- Дізнайтеся, скільки трафіку отримують ваші сторінки.
- Знайдіть можливості для внутрішніх посилань.
Це наша відповідь на обмеження Google Search Console.
Тест на зручність для мобільних Google перевіряє, наскільки легко відвідувач може використовувати вашу сторінку на мобільному пристрої. Він також виявляє конкретні проблеми мобільної зручності, такі як текст, який занадто малий для читання, використання несумісних плагінів тощо.
Тест на зручність для мобільних показує, що Google бачить, коли він сканує сторінку. Ви також можете використовувати тест багатих результатів щоб побачити контент, який Google бачить для настільних або мобільних пристроїв.
Chrome DevTools — це вбудований інструмент налагодження веб-сторінок Chrome. Використовуйте його для налагодження проблем швидкості сторінки, покращення продуктивності рендерингу веб-сторінок та багато іншого.
З точки зору технічного SEO це має безмежні можливості використання.
Панель інструментів Ahrefs SEO — це безкоштовне розширення для Chrome та Firefox, яке надає корисні SEO-дані про сторінки та вебсайти, які ви відвідуєте.
Його безкоштовні можливості:
- Звіт з SEO на сторінці
- Трейсер редиректів з HTTP-заголовками
- Перевірка пошкоджених посилань
- Виділення посилань
- Позиції в SERP
Крім того, як користувач Ahrefs, ви отримуєте:
- SEO-метрики для кожного сайту та сторінки, які ви відвідуєте, та для результатів пошуку Google
- Метрики ключових слів, такі як обсяг пошуку та складність ключового слова, безпосередньо в SERP
- Експорт результатів SERP
PageSpeed Insights аналізує швидкість завантаження ваших вебсторінок. Поряд з оцінкою продуктивності він також показує дієві рекомендації щодо прискорення завантаження сторінок.
Ключові висновки
- Якщо ваш контент не проіндексований, то його не буде знайдено в пошукових системах.
- Коли щось зламано, що впливає на пошуковий трафік, це може бути пріоритетом для виправлення. Але для більшості сайтів ви, мабуть, краще витратите час на свій контент і посилання.
- Багато технічних проєктів, які мають найбільший вплив, стосуються індексації або посилань.
- Технічне SEO все ще має значення для ШІ-пошуку. Добре структуровані, доступні для сканування сторінки допомагають ШІ-системам знаходити, розуміти та показувати ваш контент.
Згадування
- "Is a crawl-delay rule ignored by Googlebot?". Google Search Central. 21 грудня 2017
- "Change Googlebot crawl rate". Google. Отримано 9 вересня 2022
- "30x перенаправлення більше не втрачають PageRank". Гарі Ільєс. 26 липня 2016
Патрік Стокс — продуктовий радник, технічний SEO та амбасадор бренду в Ahrefs. Він був провідним автором розділу SEO веб-альманаху 2021 року та рецензентом розділу SEO 2022 року. Він також співавтор книги SEO для початківців від Ahrefs і був технічним редактором для 4-го видання "Мистецтва SEO". Він організатор Triangle SEO Meetup, конференції Tech SEO Connect, керує технічною SEO Slack-групою і є модератором /r/TechSEO на Reddit.
Опануйте SEO крок за кроком
Як працюють пошукові системи
Перш ніж почати вивчати SEO, потрібно зрозуміти, як працюють пошукові системи.
Основи SEO
Дізнайтеся, як налаштувати свій вебсайт для успіху в SEO, і дізнайтеся про чотири основні аспекти SEO.
Дослідження ключових слів
Відправною точкою в SEO є розуміння того, що шукають ваші цільові клієнти.
SEO-контент
Дізнайтеся, як створити контент, який займає місце в пошукових системах.
Внутрішня оптимізація сторінки
Саме тут ви оптимізуєте список сторінок, що допоможуть пошуковим системам їх зрозуміти.
Лінкбілдінг
Посилання — це те, як пошукові системи знаходять нові сторінки та оцінюють їхню "авторитетність". Важко ранжуватися за конкурентними термінами без посилань.
Технічне SEO
Важливо переконатися, що немає технічних помилок, які заважають Google отримати доступ до вашого вебсайту та правильно розуміти його.
Що означає ШІ для SEO
Сьогодні неможливо говорити про SEO, не згадуючи генеративний ШІ.