Патрик Стокс — консультант по продукту, технический SEO-специалист и амбассадор бренда в Ahrefs. Он является организатором Raleigh SEO Meetup, конференции Raleigh SEO, Beer & SEO Meetup, конференции Findability и модератором /r/TechSEO.
Показывает, сколько различных веб-сайтов ссылаются на этот контент. Как правило, чем больше сайтов ссылаются на вас, тем выше вы ранжируетесь в Google.
Показывает ежемесячный рассчетный поисковый трафик на эту статью по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3–5 раз больше.
Количество ретвитов этой статьи в Twitter.
Поделиться этой статьей
Техническое SEO — самая важная часть SEO, пока она не сделана. Страницы должны сканироваться и индексироваться, чтобы вообще иметь возможность ранжироваться, но многие другие действия будут иметь минимальное влияние на ранжирование по сравнению с контентом и ссылками.
Мы написали это руководство для новичков, чтобы помочь вам разобраться с некоторыми основами и понять, на что лучше всего тратить время, чтобы добиться максимального эффекта. В статье есть ссылки на множество дополнительных ресурсов, а в конце вы найдете еще больше ресурсов, которые помогут вам узнать больше.
Приступим.
Contents
Содержание
Part 1
Основы технического SEO
Поскольку это руководство для начинающих, давайте начнем с основ.
Что такое техническое SEO?
Техническое SEO — это процесс оптимизации вашего сайта, помогающий поисковым системам, таким как Google, находить, сканировать, понимать и индексировать ваши страницы. Его задача — сделать так, чтобы вас нашли, и улучшить ранжирование.
Насколько сложно техническое SEO?
Зависит от обстоятельств. Основы нетрудно освоить, но некоторые аспекты технического SEO могут быть сложными и трудными для понимания. В этом руководстве я постараюсь объяснять всё как можно проще.
Part 2
Понимание сканирования
В этой главе мы рассмотрим, как убедиться, что поисковые системы могут эффективно сканировать ваш контент.
Как работает сканирование
Краулеры (сканеры) захватывают контент со страниц и используют ссылки на этих страницах, чтобы найти другие страницы. Это позволяет им находить контент в сети. В этом процессе есть несколько систем, о которых мы поговорим.
Краулер должен с чего-то начать. Обычно они создают список всех URL-адресов, которые они находят по ссылкам на страницах. Вторичной системой для поиска дополнительных URL-адресов являются карты сайта, создаваемые пользователями или различными системами, имеющими списки страниц.
Очередь сканирования
Все URL-адреса, которые необходимо сканировать или повторно сканировать, получают приоритет и добавляются в очередь сканирования. По сути, это упорядоченный список URL-адресов, которые Google хочет сканировать.
Краулер
Система, которая захватывает контент страниц.
Обработчики
Это различные системы, которые обрабатывают каноникализацию, о которой мы поговорим через минуту, передают страницы в рендерер, который загружает страницу, как браузер, и обрабатывает страницы, чтобы получить больше URL-адресов для сканирования.
Рендерер
Рендерер загружает страницу, как и браузер, запуская JavaScript и файлы CSS. Это сделано для того, чтобы Google мог увидеть страницу так, как ее видит большинство пользователей.
Индексирование
Это сохраненные страницы, которые Google показывает пользователям.
Управление сканированием
Есть несколько способов контролировать сканирование вашего веб-сайта. Вот некоторые из них.
Robots.txt
Файл robots.txt сообщает поисковым системам, куда им можно и нельзя переходить на вашем сайте.
Всего одно небольшое примечание. Google может индексировать страницы, которые они не могут просканировать, если на эти страницы указывают ссылки. Это может сбивать с толку, но если вы хотите, чтобы страницы не индексировались, ознакомьтесь с этим руководством и блок-схемой, которые помогут вам разобраться в этом процессе.
Частота сканирования
В robots.txt можно использовать директиву задержки сканирования, которую поддерживают многие краулеры. Она позволяет вам задать, как часто они могут сканировать страницы. К сожалению, Google игнорирует эту директиву. Для Google вам нужно будет изменить частоту сканирования в Google Search Console, как описано здесь.
Ограничение доступа
Если вы хотите, чтобы страница была доступна некоторым пользователям, но оставалась недоступной поисковым системам, тогда скорее всего вам подойдет один из этих трех вариантов:
доступ по IP (когда страница доступна только при заходе с определенных IP-адресов)
Такой тип установки лучше всего подходит для внутренних сетей, контента только для участников или при подготовке данных, тестирования и на этапе разработки сайтов. Это позволяет группе пользователей получить доступ к странице, но при этом поисковые системы не смогут получить такой же доступ и эти страницы проиндексировать.
Если вы хотите видеть всю активность краулеров на своем веб-сайте, вам необходимо получить доступ к логам вашего сервера и, возможно, использовать специальные инструменты для помощи в анализе данных. Это может быть довольно сложной задачей, но если на вашем хостинге есть панель управления, такая как cPanel, у вас должен быть доступ к сырым логам и некоторым агрегаторам, таким как Awstats и Webalizer.
Настройки сканирования
У каждого веб-сайта свой краулинговый бюджет. Он представляет собой комбинацию того, как часто Google хочет сканировать сайт и сколько сканирования позволяет ваш сайт. Более популярные страницы и страницы, которые часто меняются, будут сканироваться чаще, а страницы, которые не кажутся популярными или не имеют хороших ссылок, будут сканироваться реже.
Если краулеры встречают препятствия при сканировании вашего веб-сайта, они обычно замедляют или вообще прекращают сканирование, пока условия не улучшатся.
После сканирования страницы обрабатываются и отправляются в индекс. Индекс — это главный список страниц, которые могут быть возвращены по поисковым запросам. Поговорим о метриках.
В этой главе мы поговорим о том, как убедиться, что ваши страницы индексируются, и проверить, как они проиндексированы.
Директивы robots
Метатег robots — это фрагмент HTML-кода, который сообщает поисковым системам, как сканировать или индексировать определенную страницу. Он размещается в секции <head> веб-страницы и выглядит следующим образом:
<meta name="robots" content="noindex" />
Каноникализация
Если существует несколько версий одной и той же страницы, Google выберет только одну для хранения в своем индексе. Этот процесс называется каноникализацией, и URL-адрес, выбранный в качестве канонического, и будет отображаться в результатах поиска Google. Они используют множество различных сигналов для выбора канонического URL, в том числе:
Самый простой способ узнать, как Google проиндексировал страницу, — это использовать инструмент проверки URL в Google Search Console. Он покажет вам канонический URL-адрес, выбранный Google.
Одна из самых сложных задач для специалистов по SEO — это расстановка приоритетов. Есть много практических рекомендаций, но некоторые изменения повлияют на ваше ранжирование и посещаемость больше других. Вот некоторые из проектов, которые я рекомендую приоритизировать.
Проверка индексирования
Следите, чтобы страницы, которые люди должны найти, мог проиндексировать Google. Две предыдущие главы были посвящены сканированию и индексированию, и это не случайно.
Вы можете проверить отчет “Индексируемость” (Indexability) в Аудите сайта, чтобы найти страницы, которые не могут быть проиндексированы, и причины, по которым это происходит. Это бесплатный инструмент в Ahrefs Webmaster Tools.
Восстановление потерянных ссылок
Веб-сайты, как правило, меняют свои URL-адреса с течением времени. Во многих случаях на старые URL-адреса указывают ссылки с других веб-сайтов. Если они не перенаправляются на текущие страницы, эти ссылки теряются и больше не учитываются для ваших страниц. Еще не поздно сделать эти переадресации, чтобы быстро восстановить потерянную ценность. Можете считать это самым быстрым линкбилдингом, которым вам когда-либо приходилось заниматься.
Выполните следующие действия: Сайт Эксплорер > вашдомен.com > Страницы > Лучшие по количеству ссылок > добавьте фильтр кода HTTP “404 Не найдено”. Обычно я сортирую отчет по столбцу “Ссылающиеся домены”.
Вот как это выглядит для сайта 1800flowers.com:
Посмотрев первый URL-адрес на archive.org, я вижу, что раньше это была страница, посвященная Дню матери. Перенаправив эту страницу на текущую версию, вы восстановите 225 ссылок с 59 различных веб-сайтов. И таких возможностей еще много.
Вам нужно использовать 301 редирект, чтобы перенаправить любые старые URL-адреса на их текущие расположения и вернуть их утраченную ценность.
Добавление внутренних ссылок
Внутренние ссылки — это ссылки с одной страницы вашего сайта на другую страницу вашего сайта. Они помогают находить ваши страницы, а также помогают им ранжироваться выше. В Аудите сайта есть инструмент Возможности для ссылок (Link opportunities), который поможет вам быстро найти такие возможности.
Добавление разметки schema
Разметка schema — это код, который помогает поисковым системам лучше понимать ваш контент. Она поддерживает множество функций, которые могут помочь вашему сайту выделиться среди остальных в результатах поиска. У Google есть галерея поиска, в которой показаны различные функции поиска и схемы, необходимые для того, чтобы ваш сайт соответствовал критериям.
Все проекты, о которых мы будем говорить в этой главе, хороши, но они могут требовать больше усилий и приносить меньше пользы, чем проекты быстрых побед из предыдущей главы. Это не значит, что вам не следует ими заниматься, главное понять, как правильно расставить приоритеты для различных проектов.
Сигналы удобства страниц
Это менее значимые факторы ранжирования, но все же на них стоит обратить внимание ради удобства ваших пользователей. Они охватывают те аспекты веб-сайта, которые влияют на пользовательский опыт (UX).
Core Web Vitals
Core Web Vitals или основные интернет-показатели — это метрики скорости, которые являются частью сигналов удобства страниц (Page Experience) Google, используемых для измерения взаимодействия с пользователем. Метрики измеряют визуальную скорость загрузки через отрисовкиу самого крупного контента (Largest Contentful Paint, LCP), визуальную стабильность через совокупное смещение макета (Cumulative Layout Shift, CLS) и интерактивность через задержку после первого ввода (First Input Delay, FID).
HTTPS
Протокол HTTPS защищает обмен данными между вашим браузером и сервером от перехвата и вмешательства злоумышленников. Это обеспечивает конфиденциальность, целостность и аутентификацию для подавляющего большинства современного веб-трафика. Вам нужно, чтобы ваши страницы загружались по HTTPS, а не по HTTP.
Любой веб-сайт, у которого в адресной строке отображается значок замка, использует протокол HTTPS.
Оптимизация для мобильных устройств
Проще говоря, это проверка, правильно ли отображаются веб-страницы и легко ли ими пользоваться людям на мобильных устройствах.
Как узнать, насколько ваш сайт оптимизирован для мобильных устройств? Проверьте отчет “Удобство для мобильных” в Google Search Console.
Этот отчет покажет вам наличие проблем с оптимизацией для мобильных устройств у ваших страниц.
Безопасный просмотр
Это проверки, которые помогают убедиться, что страницы не вводят в заблуждение, не содержат вредоносных программ и не загружают вредоносные программы.
Навязчивая межстраничная реклама
Навязчивая межстраничная реклама блокирует просмотр контента. Это всплывающие окна, которые перекрывают основной контент, с которыми пользователям, возможно, придется взаимодействовать, чтобы убрать их.
Hreflang — при наличии нескольких языков
Hreflang — это атрибут HTML, используемый для указания языкового и географического таргетинга веб-страницы. Если у вас есть несколько версий одной и той же страницы на разных языках, вы можете использовать тег hreflang, чтобы сообщить поисковым системам, таким как Google, об этих версиях. Это помогает им предоставлять пользователям правильную версию.
Общее обслуживание и поддержание работоспособности веб-сайта
Эти задачи вряд ли сильно повлияют на ранжирование, но, как правило, им нужно уделять внимание для удобства пользователей.
Битые ссылки
Битые ссылки — это ссылки на вашем сайте, которые указывают на несуществующие ресурсы. Они могут быть как внутренними (т. е. вести на другие страницы на вашем домене), так и внешними (т. е. вести на страницы на других доменах).
Вы можете быстро найти битые ссылки на своем веб-сайте с помощью отчета “Ссылки” в Аудите сайта. Это бесплатный инструмент в Ahrefs Webmaster Tools.
Цепочки перенаправлений
Цепочки перенаправлений — это серии перенаправлений, которые происходят между исходным URL-адресом и целевым URL-адресом.
Вы можете быстро найти цепочки перенаправлений на своем веб-сайте с помощью отчета “Редиректы” в Аудите сайта. Это бесплатный инструмент в Ahrefs Webmaster Tools.
Google Search Console (ранее — Google Webmaster Tools) — это бесплатная служба от Google, которая помогает отслеживать и устранять неполадки, связанные с отображением вашего веб-сайта в результатах поиска.
Используйте его, чтобы находить и исправлять технические ошибки, добавлять карты сайта, просматривать проблемы со структурированными данными и многое другое.
В Bing и Yandex есть свои аналоги, как и у Ahrefs. Ahrefs Webmaster Tools — это бесплатный набор инструментов, который поможет вам улучшить эффективность SEO вашего сайта. Он поможет вам с такими задачами:
Мониторинг общего состояния SEO вашего сайта
Проверка на наличие более 100 проблем с SEO
Просмотр всех ваших обратных ссылок (бэклинков)
Просмотр всех ключевых слов, по которым вы ранжируетесь
Проверка объема трафика, который получают ваши страницы
Поиск возможностей для внутренней перелинковки
Это наш ответ на ограничения Google Search Console.
Инструмент Google Проверка оптимизации для мобильных проверяет, насколько легко посетителю использовать вашу страницу на мобильном устройстве. Он также выявляет определенные проблемы с удобством использования на мобильных устройствах, такие как слишком мелкий для чтения текст, использование несовместимых плагинов и т. д.
Проверка оптимизации для мобильных показывает, что Google видит при сканировании страницы. Вы также можете использовать Проверку расширенных результатов, чтобы просмотреть контент, который Google видит на компьютерах или мобильных устройствах.
Инструменты разработчика Chrome (Chrome DevTools) — это встроенный в Chrome инструмент для отладки веб-страниц. Используйте его для отладки проблем со скоростью загрузки страницы, повышения производительности рендеринга веб-страниц и многого другого.
С точки зрения технического SEO, он имеет бесконечное множество способов применения.
SEO Тулбар Ahrefs — это бесплатное расширение для Chrome и Firefox, которое предоставляет полезные для SEO данные о страницах и веб-сайтах, которые вы посещаете.
Его бесплатные функции:
Отчет по on-page SEO
Отслеживание перенаправлений с HTTP-заголовками
Проверка битых ссылок
Подсветка ссылок
Позиции в поисковой выдаче
Кроме того, как пользователь Ahrefs вы получаете:
Метрики SEO для каждого сайта и страницы, которые вы посещаете, а также для результатов поиска Google
Метрики ключевых слов, такие как частота поиска и сложность ключевых слов, прямо в поисковой выдаче.
Инструмент PageSpeed Insights анализирует скорость загрузки ваших веб-страниц. Помимо оценки производительности, он также показывает практические рекомендации по ускорению загрузки страниц.
Подведем итоги
Все это лишь малая часть технического SEO. Это должно помочь вам с основами, и во многих главах есть ссылки на дополнительные материалы, которые помогут вам продолжить изучение. В этом руководстве мы не затронули множество других тем, поэтому я составил для вас список, который будет полезен, если вы захотите узнать больше.
