Enjoyed the Read?

Don’t miss our next article!

Как добавить сайт в поисковые системы — и почему это не обязательное условие

Avatar
Глава отдела контента в Ahrefs (проще говоря, я отвечаю за то, чтобы каждый пост в блоге был КРУТЫМ). Основатель The SEO Project
    Если поисковые системы не знают о существовании вашего сайта или веб-страницы, то шанс получить приоритет в ранжировании попросту равен нулю.

    Дело в том, что поисковым системам требуется время, чтобы обнаружить (и проиндексировать) новые сайты.

    Если вы будете искать свой двухдневный сайт в поиске Google, то скорее всего, вы будете огорчены результатами. По факту, в девяти случаях из десяти вы не найдете ничего.

    Однако даже через несколько недель после создания ваш сайт может не отображаться в Google, Bing и Yahoo, совокупная доля рынка которых составляет около 96%.

    Если вы столкнулись с этой проблемой и хотите узнать самый быстрый способ добавления сайта в поисковые системы, значит это руководство для вас. В этой статье мы обсудим:

    Но сначала давайте рассмотрим вопрос, который возник у многих пользователей в 2018 году …

    Стоит ли на самом деле добавлять сайт в поисковые системы?

    В Google и других поисковых системах изначально не было предусмотрено добавление данных вручную. Вот почему их роботы сами сканируют информацию в интернете.

    Не знаете что такое сканирование? Это когда роботы поисковых систем ищут новые ссылки на сайтах и впоследствии их «анализируют». Если новая обнаруженная ссылка ведет на какой-нибудь полезный контент, эта страница добавляется в индекс.

     В данном видео Мэтт Каттс объясняет принципы сканирования и его работу.

    Существует теория, что в Google также анализируют статистические данные об использовании браузеров Chrome и регистрации доменов, чтобы осуществлять бесконечный поиск новых сайтов и страниц.

    ПРИМЕЧАНИЕ.
    Иногда SEO-специалисты немного параноидальны в этом вопросе и публикуют собственные исследования и инфографики.

    Подводя итог, можно сказать что поисковые системы довольно хорошо распознают новые сайты и страницы самостоятельно, при условии, что их уже упоминали где-то в интернете. (Мы поговорим о важности ссылок попозже!)

    Почему важно всё же добавлять сайт в поисковые системы

    Вот лишь несколько причин почему стоит добавлять сайт вручную:

    1. Лучше перестраховаться чем потом сожалеть. Давайте посмотрим правде в глаза. Поисковые системы, возможно, смогут найти ваш сайт, вне зависимости от ваших усилий. Но стоит ли полагаться на это «возможно»? Добавление сайта займет всего лишь пару минут. Так зачем рисковать?
    2. Поисковые системы не смогут проанализировать всю информацию с помощью сканирования. Если вы отправите свой сайт с помощью методов, описанных ниже, у вас будет возможность предоставить Google и Bing некоторую полезную информацию о вашем сайте. Например, вы можете рассказать им о степени важности каждой вашей страницы. Они не могут проанализировать эту информацию с помощью одного сканирования.
    3. Данное действие помогает улучшить работу сайта. В «панели управления» Google и Bing можно увидеть как выглядит ваш сайт в глазах поисковиков (подробнее об этом вы узнаете позже!). Также различные инструменты для тестирования веб-страниц будут вовремя предупреждать вас о потенциальных проблемах или ошибках на вашем сайте.

    Имейте в виду, что добавить сайт и проиндексироваться в Google  — это всего лишь полдела. Реальная трудность часто заключается в ранжировании по нужным поисковым запросам.

    Не волнуйтесь, в эту статью мы добавили пару советов о том, как правильно это сделать.

    Но не будем забегать наперед.

    Как добавить свой сайт в Google

    Добавить сайт в Google (и другие поисковые системы) не составит большого труда.

    Просмотрите наш краткий видеоурок или следуйте инструкциям, описанным ниже.

    В июле 2018 года Google отключил публичный способ отправки URL-адресов в поисковый индекс. Теперь единственный способ — добавить карту вашего сайта в Search Con­sole.

    Что такое карта сайта? Это файл в котором перечислены все страницы сайта. Чаще всего этот файл бывает в формате XML и выглядит примерно так:

    XML Sitemap - пример

    В данном примере карты сайта содержится список всех постов в моём личном блоге.

    Вы можете найти карту сайта по адресу yourdomain.com/sitemap.xml. Если её там нет, проверьте файл robots.txt на странице yourdomain.com/robots.txt. На этой странице обычно указывается URL карты сайта.

    sitemap URL

    Пример URL-страницы карты сайта в файле robots.txt

    У ВАС НЕТ КАРТЫ САЙТА?

    Вам нужно её создать.

    Существует несколько способов создания карты сайта. Если вы пользуетесь Word­Press (или другой системой управления содержимым), вы можете использовать один из многочисленных плагинов для автоматического создания карты сайта. Мы рекомендуем Yoast SEO. Для статических сайтов вы можете попробовать этот генератор карт сайта. Если вы предпочитаете более ручной/ индивидуальный подход, следуйте данному руководству от команды Scream­ing Frog.

    Нашли карту сайта? Отлично. Теперь этот файл нужно отправить через Search Con­sole.

    Search Con­sole> Выбрать сайт> Файлы Sitemap> Вставить URL файла Sitemap> Нажать «Отправить»

    Search Console sitemap

    ПРИМЕЧАНИЕ.
    Прежде чем приступить к данному действию, вам нужно будет добавить и подтвердить права на свой сайт в Google Search Con­sole. Если вы ещё этого не сделали, обратитесь к этому руководству, а затем вернитесь сюда.

    Обратите внимание, что я использую новую бета-версию Search Con­sole. В старой версии это делается так:

    Search Con­sole> Выбрать сайт> Сканирование> Файлы Sitemap> Добавить/ Проверить файл Sitemap> Вставить URL-адрес своей карты сайта> Нажать «Отправить»

    old search console sitemap

    Для тех, у кого несколько файлов Sitemap (из-за использования плагинов как Yoast или огромного размера сайта), советую просто повторить этот процесс.

    Что делать если я хочу добавить отдельную веб-страницу в Google?

    Ранее Google позволял это делать с помощью инструмента отправки URL-адресов в поисковый индекс, который прекратил работу в 2018 году.

    Тем не менее, если вы всё ещё используете старую версию Search Con­sole, вы можете отправить отдельные URL-адреса с помощью инструмента «Просмотреть как Google­bot». Для этого перейдите по ссылке:

    Search Con­sole> Сканирование> Просмотреть как Google­bot> Вставьте свой URL> Проверить

    fetch as google

    Затем вам нужно нажать на кнопку «Запросить индексирование» и появится модальное окно:

    request indexing

    Поставьте галочку что вы не робот (вы же не робот, надеюсь?!), затем сделайте выбор чтобы Google просканировал только этот URL или URL с его прямыми ссылками.

    Вот и всё. Работа выполнена.

    Но как быть с новой версией Search Con­sole? Доступна ли там эта функция?

    Что ж, похоже, что Google удалил инструмент «Просмотреть как Google­bot» и заменил его инструментом проверки URL. Основной целью этого инструмента является проверка URL-адресов для выявления проблем, но он также может служить вам как и старый инструмент «Просмотреть как Google­bot» если дело касается повторного сканирования.

    Проблема в том, что в инструкции Google по использованию этого инструмента нет четкого разъяснения.

    Чтобы запросить сканирование URL, выполните следующие действия:

    1. Проверьте URL с помощью инструмента проверки URL.
    2. Выберите Запросить индексирование. Инструмент проверит страницу на наличие проблем с индексированием. Если таковые не обнаружатся, страница будет добавлена в очередь на индексирование. Если инструмент выявит проблемы, постарайтесь их решить.

    Проверить URL не так уж и сложно, а вот кнопки «Запросить индексирование» больше нет.

    no request indexing

    Так что сейчас мы не уверены как работает эта функция. Тем не менее, инструмент всё ещё находится в бета-версии, поэтому есть вероятность, что в Google добавят эту кнопку позже.

    Однако сейчас вам, вероятно, стоит просто воспользоваться инструментом «Просмотреть как Google­bot» в старой версии Search Con­sole.

    Как добавить свой сайт в Bing и Yahoo

    В отличие от Google, в Bing всё ещё присутствует публичный способ отправки URL-адресов в поисковый индекс.

    Вы можете отправить любой веб-сайт (даже если он не является вашим собственным) в поисковый индекс Bing за считанные секунды. Просто вставьте URL-адрес домашней страницы, заполните капчу и нажмите на кнопку «Отправить».

    bing submission

    Но это не тот метод, который мы бы порекомендовали. Гораздо разумнее отправить полную карту сайта в Bing Web­mas­ter Tools.

    Средства веб-мастера> «Добавьте свой сайт»> Заполните форму> Нажмите «Отправить»

    Bing Webmaster tools

    Чтобы отправить свой сайт в Yahoo вам не нужно делать ничего. Yahoo работает на основе индекса Bing. После отправки сайта в Bing он будет автоматически отправлен в Yahoo.

    ПРИМЕЧАНИЕ.
    У вашего сайта есть аудитория в Китае? Тогда вам следует также добавить сайт в поисковик Baidu (76%+ доли рынка). В ином случае вашим единственным приоритетом будут являться Google, Bing и Yahoo. Мы не будем фокусироваться на этом поисковике в статье, но если вам нужно отправить сайт в поисковой индекс Baidu, советую прочитать данное руководство (анг.).

    Как проверить индексацию сайта

    Самый быстрый способ проверки индексации сайта или страницы в Google — это воспользоваться поисковым оператором «site».

    Порядок набора: site:yourdomain.com/page-to-check/

    Поисковый оператор site

    Я воспользовался поисковым оператором «site», чтобы проверить индексацию в Google моего списка стратегий для линкбилдинга.

    Вы также можете проверить статус индексации вашего сайта в целом, используя поисковый оператор  site: вместе с вашим доменом, а не с определенной страницей.

    Проверка количества проиндексированных страниц в Google

    ПРИМЕЧАНИЕ.
    Этот поисковый оператор работает только в Google и Bing.

    Не нашли ни одной страницы? Вероятно, Google не проиндексировал ваш сайт или страницу.

    В течение первых нескольких дней после публикации контента такое часто случается. Однако, если изменений не последовало через пару недель, то, возможно, у сайта проблемы с индексацией.

    Вы также можете проверить статус индексирования вашего сайта в Google Search Con­sole. Однако только в новой версии Google Search Con­sole вы сможете увидеть список проиндексированных страниц.

    Search Con­sole> Статус> Отчёт об индексировании

    Перейдите на вкладку «Страница без ошибок» и выберите вид «Страница проиндексирована, но её нет в файле Sitemap» или «Страница отправлена и проиндексирована», чтобы просмотреть список страниц в индексе Google.

    indexed pages search console

    ПРИМЕЧАНИЕ.
    Вы также можете повторить это действие в Bing Web­mas­ter Tools.

    Что делать, если ваш сайт или страница не проиндексированы

    Если вы пришли к выводу, что ваш сайт или страница не проиндексированы, сначала необходимо выяснить, почему это случилось.

    Вот несколько распространенных причин почему это могло произойти и пару решений:

    • Страница содержит тег «noin­dex». Данный тег запрещает Google и другим поисковым системам индексировать страницу. Вы можете проверить страницу на наличие тега «noin­dex», а затем удалить (при необходимости), выполнив поиск тега «noin­dex» в HTML-коде страницы. Здесь больше информации о тегах «noin­dex»;
    • Индексирование заблокировано вашим файлом robots.txt. Такой файл есть у каждого сайта. Он служит для поисковых роботов неким сводом правил. Например, там можно разрешить или запретить сканирование страниц, которые им можно/нельзя индексировать. Вы можете проверить, заблокирован ли URL-адрес в файле robots.txt, с помощью инструмента проверки файла robots.txt. Просто введите URL-адрес, и его покажут доступным или заблокированным.
    • Индексирование заблокировано файлом .htac­cess. Это локальный конфигурационный файл для сайтов, работающих на веб-серверах Apache (примерно 46% всех сайтов). Если ваш .htac­cess файл содержит фрагмент кода Head­er set X-Robots-Tag «noin­dex, nofol­low», его следует удалить, чтобы Google­bot смог проиндексировать ваш сайт.
    ПРИМЕЧАНИЕ.
    Если указанные выше причины не связаны с вашим случаем, возможно, страница не была проиндексирована из-за отсутствия показателей её ценности. Либо у вашего сайта более серьёзная проблема. В этом случае стоит прибегнуть к услугам эксперта по техническому SEO.

    Проблема кроется в другом? Воспользуйтесь инструментом проверки URL в новой версии Google Search Con­sole.

    Search Con­sole> Проверка URL> Введите URL страницы> Нажмите Поиск

    URL нет в Google

    Как видите, этого URL нет в индексе Google. Но почему?

    Прокрутите вниз, и Google предоставит вам более подробную информацию. Этой конкретной страницы нет в индексе, потому что стоит 301 редирект и тег canon­i­cal.

    Index coverage

    В данном случае не о чем беспокоиться, поскольку канонический URL был проиндексирован. Но если Google выдаст подлинную ошибку, о которой вы не подозревали, вам нужно заняться решением проблемы чтобы страница, по счастью, была проиндексирована.

    ПРИМЕЧАНИЕ.
    Здесь вы можете найти полный список причин для присвоения статуса «Ошибка» от Google.

    Почему добавление сайта в Google ≠ ранжирование в Google (и как это исправить)

    Большинство поисковых запросов Google показывают тысячи, если не миллионы результатов поиска.

    Youtube SEO Google

    25+ млн результатов поиска в Google по запросу «youtube SEO».

    Большинство людей никогда не переходят на сайты дальше первой страницы выдачи. То есть, сайты которые ранжируются ниже первых десяти позиций получают мало трафика или не получают его вообще. По этой причине наличие индексации никак не влияет на количество посещений вашего сайта.

    Для получения органического трафика вам нужно ранжироваться на первой странице выдачи по основным ключевым запросам (в идеале занять топ‑3 поиска).

    Как это сделать? Это сложный и трудоемкий процесс, но в любом случае вам наверняка понадобятся обратные ссылки.

    Google воспринимает ссылки с других сайтов как голоса избирателей. Таким образом, когда в выдаче присутствует две или более страниц на одну и ту же тему, страница с наибольшим количеством ссылок (т. е. голосов) обычно ранжируется выше, чем страницы с меньшим количеством ссылок.

    ОТ РЕДАКТОРА

    Это не точная наука. Мы не утверждаем, что страницы с большим количеством обратных ссылок ВСЕГДА ранжируются лучше других. Это не так.

    Так, мы проанализировали почти один миллиард веб-страниц и обнаружили неплохую корреляцию между количеством доменов-доноров и объёмом поискового трафика Google.

    Ссылающиеся домены vs. Трафик

    Тим Соуло
    Тим Соуло
    Глава отдела маркетинга

    Вы можете использовать обзор поисковой выдачи в Анализе ключевых слов от Ahrefs, чтобы увидеть количество ссылок каждой из страниц в топ-10 на данный момент (по вашему основному ключевому слову).

    Анализ ключевых слов> Введите ключевое слово по которому вы хотите ранжироваться> Обзор поисковой выдачи

    Киворд "youtube seo" по ссылкам

    Скриншот сделан в инструменте Анализ ключевых слов Ahrefs. Здесь показаны 10 страниц в топе по ключевому запросу «YouTube SEO».

    Эта информация даст вам приблизительное представление о том, сколько обратных ссылок может понадобиться для ранжирования в поисковой выдаче. (Для проверки вы также можете воспользоваться нашим показателем Конкурентности запроса)

    Но дело не только в количестве ссылок. Важно убедиться, что ваша внутренняя оптимизация отвечает всем требованиям, и таргетинг по ключевым словам настроен идеально.

    Вот несколько полезных руководств которые могут вам в этом помочь.

    В заключение

    Вероятнее всего, Google сможет найти ваш сайт и без вашей помощи. Так же как Bing и другие поисковые системы.

    Тем не менее, мы всё же рекомендуем вам отправлять сайт вручную с помощью карты сайта. Почему?

    Потому что у Google и Bing будет дополнительная информация о вашем сайте, а вы получите больше данных взамен.

    Не забывайте делать повторную отправку страниц, если вы обновляете или меняете контент.

    Но помните, что индексирование — это только вершина айсберга. Вы не сможете ранжироваться без инвестиций в SEO.

    Перевод предоставлен Марией Кнол, контент-маркетологом биржи прямой рекламы collaborator.pro.

    Shows how many different websites are linking to this piece of content. As a general rule, the more websites link to you, the higher you rank in Google.

    Shows estimated monthly search traffic to this article according to Ahrefs data. The actual search traffic (as reported in Google Analytics) is usually 3-5 times bigger.