10 действенных способов заставить Google индексировать ваш сайт

Если вы читаете эту статью, то это вам уже и так известно. Так что перейдем сразу к делу.

Эта статья поможет вам решить три проблемы:

1. Ваш сайт вообще не индексируется.
2. Часть страниц сайта индексируется, а часть — нет.
3. Свежеопубликованные статьи индексируются недостаточно быстро.

Но сперва давайте убедимся, что мы имеем в виду одно и то же, когда говорим об «индексировании».

Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).

Запутались? Давайте дадим определения основным терминам.

• Краулинг — процесс перехода по гиперссылкам в Интернете с целью нахождения нового контента.
• Индексирование — процесс сохранения каждой веб-страницы в обширной базе данных.
• Поисковый робот — Программа, которая выполняет краулинг.
• Googlebot — поисковый робот Google.

Вот видео от Google, в котором этот процесс подробно объясняется:

https://www.youtube.com/watch?v=BNHR6IQJGZs

Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.

Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.

Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.

Нельзя победить в гонке, не зарегистрировавшись сперва.

Откройте сайт Google и введите в поиск site:ваш_сайт.com

Это число примерно показывает, сколько страниц вашего сайта содержится в индексе Google.

Если вы хотите узнать состояние индексирования конкретного URL-адреса, используйте тот же самый оператор site:ваш_сайт.com/адрес_страницы.

Если результатов не будет, значит, страницы нет в индексе.

Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:

Google Search Console > Индексирование > Покрытие

Посмотрите на число действительных страниц (с предупреждениями и без).

Если эти числа в сумме отличаются от нуля, значит, по крайней мере часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.

В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL.

Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google».

Если нет — то «URL нет в индексе Google».

Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:

1. Откройте Google Search Console.
2. Перейдите в Инструмент проверки URL.
3. Вставьте в строку поиска URL-адрес, который вы хотите видеть в индексе Google.
4. Подождите, пока Google проверит адрес.
5. Нажмите кнопку «Запросить индексирование».

Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.

Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.

Вот ссылки на каждую тактику — на случай, если вы пробовали часть из них:

1. Удалите блокирующие условия из файла robots.txt
2. Удалите шальные теги noindex
3. Добавьте адрес страницы в файл sitemap
4. Удалите шальные теги canonical
5. Проверьте, не является ли страница сиротой
6. Почините внутренние nofollow-ссылки
7. Добавьте «сильные» внутренние ссылки
8. Убедитесь, что страница уникальна и обладает ценностью
9. Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)
10. Получите качественные обратные ссылки

1) Удалите блокирующие условия из файла robots.txt

Google не индексирует весь ваш сайт? Причиной может быть блокирующее условие в файле robots.txt.

Чтобы проверить эту возможность, перейдите по адресу ваш_сайт.com/robots.txt.

Посмотрите, нет ли в тексте одного из этих фрагментов:

User-agent: Googlebot</p>
<p>Disallow: / 

User-agent: *</p>
<p>Disallow: / 

Оба этих фрагмента сообщают Гуглботу, что ему нельзя сканировать страницы вашего сайта. Чтобы исправить проблему, просто удалите их. И всё.

Блокирующее условие в файле robots.txt может быть виновным и в том случае, когда Google не индексирует отдельную страницу. Чтобы проверить этот вариант, вставьте адрес страницы в Инструмент проверки URL в Google Search Console. Откройте раздел «Покрытие» и поищите ошибку «Сканирование разрешено? Нет: заблокировано через robots.txt».

Эта ошибка указывает на то, что страница заблокирована в файле robots.txt.

В таком случае поищите в файле robots.txt любые правила «disallow», относящиеся к странице или содержащему ее подкаталогу.

Важная страница заблокирована для индексирования в файле robots.txt.

Если нужно, удалите эти правила.

2) Удалите шальные теги noindex

Google не станет индексировать страницы, если попросить об этом. Так вы можете оградить некоторые страницы от публичного доступа. Есть два способа сделать это:

Способ 1: тег meta

Страницы с одним из этих тегов meta в секции <head> не индексируются Google:

<meta name=“robots” content=“noindex”>

<meta name=“googlebot” content=“noindex”>

Это мета-тег robots, который сообщает поисковым системам, следует ли им индексировать данную страницу.

Чтобы найти на своем сайте все страницы с мета-тегом noindex, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в отчет Indexability  («Индексируемость»). Поищите предупреждения «Noindex page» («Неиндексируемая страница»).

Нажмите на одно из них, чтобы увидеть все такие страницы. Удалите мета-тег noindex со всех страниц, где он не нужен.

Способ 2: X‑Robots-Tag

Поисковые роботы также учитывают заголовок HTTP-ответа X‑Robots-Tag. Вы можете реализовать его на скриптовом языке для серверной стороны типа PHP, через файл .htaccess file или через изменение конфигурации своего сервера.

Инструмент проверки URL в Search Console позволяет узнать, блокирует ли Google сканирование страницы из-за заголовка. Просто введите свой URL-адрес, а затем поищите ошибку «Индексирование разрешено? Нет: обнаружено значение ‘noindex’ в HTTP-заголовке X‑Robots-Tag».

Если вы хотите исправить эту проблему на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs, а затем примените фильтр «Robots information in HTTP header» («Информация для роботов в заголовке HTTP») в разделе Page Explorer:

Попросите своего разработчика исключить страницы, которые нужно индексировать, из числа тех, что возвращают такой заголовок

Рекомендуем прочесть: Использование HTTP-заголовка X‑Robots-Tag для поисковой оптимизации: Секреты и хитрости

3) Добавьте адрес страницы в файл sitemap

Файл sitemap сообщает Google, какие страницы вашего сайта важны, а какие нет. Также он может рекомендовать, как часто следует повторно сканировать определенные страницы.

Google способен находить страницы на вашем сайте независимо от того, представлены ли они в файле sitemap, но хорошей практикой является указание важных страниц. В конце концов, нет смысла усложнять работу Google.

Чтобы проверить, указана ли страница в файле sitemap, используйте Инструмент проверки URL в Search Console. Если вы увидите ошибку «URL нет в индексе Google» и «Sitemap: н/д», значит, страницы нет в файле sitemap или индексе.

Не пользуетесь Search Console? Перейдите по URL-адресу своего файла sitemap — обычно этоваш_сайт.com/sitemap.xml — и поищите адрес страницы.

Либо, если вы хотите найти все сканируемые и индексируемые страницы, которых нет в файле sitemap, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в Page Explorer и примените следующие фильтры:

Вы получите список страниц, которые следует добавить в файл sitemap. Когда вы это сделаете, сообщите Google о том, что вы обновили свой файл sitemap, перейдя по этому URL:

http://www.google.com/ping?sitemap=<полный_URL_адрес_файла_sitemap>

Только подставьте туда URL-адрес своего файла sitemap. Вы увидите что-то подобное:

Это должно ускорить индексирование страницы поисковой системой.

4) Удалите шальные теги canonical

Тег каноничности (тег canonical) сообщает Google о канонической версии страницы. Выглядит он так:

<link rel=“canonical” href=“/страница.html”/>

Большая часть страниц либо не имеют тега canonical, либо содержат так называемый автореферентный тег canonical. Он сообщает поисковой системе о том, что страница сама является канонической, а возможно, и единственной версией. Другими словами, вы хотите, чтобы эта страница индексировалась.

Но если на страницу затесался шальной тег canonical, он может направить Google на каноническую версию страницы, которая на самом деле не существует. В таком случае страница не будет проиндексирована.

Чтобы проверить такую возможность, воспользуйтесь Инструментом проверки URL от Google. Если тег каноничности указывает на другую страницу, то вы увидите предупреждение «Альтернативная каноническая страница».

Если такого быть не должно, и вы хотите, чтобы страница индексировалась, удалите тег каноничности.

Если вы хотите быстро найти все шальные теги canonical на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в раздел Page Explorer. Используйте такие настройки:

Они запустят поиск страниц в файле sitemap с неавтореферентными тегами каноничности. Если поиск с этим фильтром выдаст какие-либо результаты, вам следует разобраться с ними, поскольку вы наверняка хотели бы, чтобы эти страницы индексировались.

Высока вероятность того, что эти страницы либо содержат ошибочные теги каноничности, либо наоборот — не должны находиться в файле sitemap.

5) Проверьте, не является ли страница сиротой

Страницы-сироты — это такие страницы, на которые не ведет ни одной внутренней ссылки.

Поскольку Google находит новый контент, перемещаясь по Всемирной паутине от одной страницы к другой, он не может найти таким образом страницы-сироты. Точно так же их не смогут найти посетители сайта.

Чтобы найти страницы-сироты, просканируйте свой сайт при помощи сервиса Site Audit от Ahrefs. Затем откройте отчет Incoming links (Входящие ссылки) для ошибок «Orphan page (has no incoming internal links)» («Страница-сирота (не имеет входящих ссылок)»):

В нем показаны все индексируемые страницы, указанные в файле sitemap, на которые при этом не ведет ни одна внутренняя ссылка.

Вы не уверены, что все страницы, которые вы хотите видеть индексированными, указаны в файле sitemap? Попробуйте следующее:

1. Загрузите полный список страниц вашего сайта (через систему CMS).
2. Просканируйте сайт (при помощи Site Audit от Ahrefs или подобного сервиса).
3. Сравните полученные списки URL-адресов.

Все адреса, не найденные в процессе сканирования, принадлежат страницам-сиротам.

Вы можете решить проблему страниц-сирот двумя способами:

1. Если страница не важна, удалите ее и уберите из файла sitemap.
2. Если страница важна, добавьте ее в схему внутренних ссылок сайта.

6) Почините внутренние nofollow-ссылки

Nofollow-ссылки — это ссылки с тегом rel=“nofollow”. Они препятствуют передаче показателя PageRank целевому URL-адресу. К тому же, Google не сканирует nofollow-ссылки.

Вот что об этом заявляют в Google:

По сути, использование атрибута nofollow заставляет Google не включать целевые ссылки в общий граф сети. Тем не менее, целевые страницы все равно могут попасть в наш индекс, если на других сайтах встретятся ссылки на них без атрибута nofollow либо если URL-адреса будут указаны в файле Sitemap.

Короче говоря, вам нужно убедиться, что внутренние ссылки на индексируемые страницы не должны иметь атрибута nofollow.

Для этого просканируйте свой сайт при помощи Site Audit от Ahrefs. В отчете Incoming links (Входящие ссылки) поищите индексируемые страницы с ошибками «Page has nofollow incoming internal links only» («На страницу ведут только внутренние nofollow-ссылки»):

Удалите атрибут nofollow из внутренних ссылок, если вы хотите, чтобы Google индексировал страницы, на которые они ведут. Если нет, то удалите страницы либо пометьте их тегом noindex.

Рекомендуем прочесть: Что такое nofollow-ссылки? Все, что вам нужно знать (без жаргона!)

7) Добавьте «сильные» внутренние ссылки

Google находит новый контент, сканируя ваш сайт. Если вы пренебрегаете созданием внутренних ссылок, то поисковик может и не найти некоторые страницы.

Одно из простых решений этой проблемы — добавить несколько внутренних ссылок, ведущих на нужную страницу. Разместить ссылки можно на любых других страницах, которые Google может сканировать и индексировать. Но если вы хотите, чтобы Google проиндексировал целевой контент как можно быстрее, то лучше всего разместить ссылку на одной из самых «сильных» страниц.

Почему? Потому что Google сканирует такие страницы чаще.

Для этого перейдите в Site Explorer от Ahrefs, введите адрес своего сайта, а затем откройте отчет Best by links (Лучшие по ссылкам).

В нем будут перечислены все страницы вашего сайта, отсортированные по показателю URL Rating (UR). Другими словами, он показывает первыми самые авторитетные страницы.

Пролистайте этот список, чтобы найти подходящие страницы, куда можно добавить внутренние ссылки на интересующую страницу.

Например, если мы хотим добавить внутреннюю ссылку на руководство по гостевому постингу, то руководство по линкбилдингу вполне подойдет для этого. Последняя страница очень кстати оказывается 11‑й по авторитетности в нашем блоге:

В следующий раз, когда Google будет сканировать эту страницу, он обнаружит новую ссылку и перейдет по ней.

8) Убедитесь, что страница уникальна и обладает ценностью

Google, как правило, не индексирует некачественные страницы, которые не представляют ценности для пользователей. Вот что Джон Мюллер из Google говорил об индексировании в 2018 году:

Мы не индексируем все существующие URL-адреса, и это нормально. Сосредоточьтесь на том, чтобы делать сайт замечательным и вдохновляющим, и тогда у вас не будет проблем с индексированием.

—  John  (@JohnMu) January 3, 2018

То есть, если вы хотите, чтобы Google проиндексировал ваш сайт или страницу, их содержание должно быть «замечательным и вдохновляющим».

Если вы не находите технических причин отсутствия индексирования, возможно, виновником является отсутствие ценности. Поэтому нелишне будет взглянуть на страницу свежим взглядом и спросить себя, действительно ли эта страница имеет ценность и принесет ли она пользу тому, кто перейдет на нее из результатов поиска.

Если ответом будет «нет», значит, вам следует улучшить свой контент.

Вы можете использовать Site Audit от Ahrefs и URL Profiler, чтобы найти другие потенциально некачественные страницы, которые не индексируются. Для этого перейдите в раздел Page Explorer в Site Audit и установите такие настройки:

Так вы получите «слабые» страницы — индексируемые, но не приносящие в данный момент естественного трафика. Высока вероятность того, что они не проиндексированы.

Экспортируйте отчет, а затем вставьте все URL-адреса в URL Profiler и запустите проверку Google Indexation (Индексирование в Google).

Источник: https://urlprofiler.com/blog/google-indexation-checker-tutorial/

Проверьте качество страниц, которые не индексируются. Улучшите качество, где это необходимо, и запросите индексирование в Google Search Console.

Также следует проверить возможность дублирования контента. Google старается не индексировать страницы-копии и очень похожие страницы. Загляните в отчет Content quality (Качество контента) в сервисе Site Audit, чтобы проверить этот вариант.

9) Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)

Слишком большое число некачественных страниц на сайте приводит к пустой трате краулингового бюджета.

Вот что об этом говорят в Google:

[Страницы-с-низкой-ценностью] отвлекают на себя активность сканирования от страниц, которую действительно имеют ценность, что способно приводить к значительным задержкам в обнаружении хорошего контента на сайте.

Представьте, что учитель проверяет сочинения, одно из которых — ваше. Если ему нужно оценить десять сочинений, то он довольно быстро доберется до вашего. Если сочинений будет сто, то ему потребуется гораздо больше времени. Если их будут тысячи, то нагрузка будет слишком высокой, и учитель может вообще никогда не добраться до оценки вашего сочинения.

В Google заявляют, что «краулинговый бюджет […] — это не то, о чем большинству стоит беспокоиться», и что «если на сайте меньше нескольких тысяч адресов, то большую часть времени он будет сканироваться эффективно».

Тем не менее, удаление некачественных страниц с вашего сайта никогда не повредит. Это только пойдет на пользу краулинговому бюджету.

Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

10) Получите качественные обратные ссылки

Обратные ссылки сообщают Google о том, что страница, на которую они ведут, важна. Раз кто-то дает на нее ссылку, значит, у нее должна быть некая ценность, верно? Поэтому Google индексирует страницы с обратными ссылками.

Для полной прозрачности Google индексирует не только страницы, имеющие обратные ссылки. Есть множество (миллиарды) проиндексированных страниц без обратных ссылок. Но поскольку Google считает страницы с качественными ссылками более важными, поисковик будет быстрее и чаще сканировать такие страницы, чем те, у которых нет обратных ссылок. То есть, индексирование страниц с качественными обратными ссылками происходит быстрее.

В нашем блоге есть много материалов по созданию качественных обратных ссылок.

Ниже приведены ссылки на некоторые из них.

Индексирование и ранжирование — это разные вещи

Наличие вашего сайта в индексе Google не означает, что он будет попадать в выдачу и приносить трафик.

Это разные вещи.

Индексирование означает только то, что Google известно о существовании вашего сайта. Это не означает, что ваш сайт будет показан в топе выдачи по подходящим запросам.

Тут-то и вступает в дело SEO — искусство оптимизации веб-страниц для попадания в топ выдачи по определенным запросам.

В общих чертах поисковая оптимизация (SEO) включает в себя:

• Определение тем, которые ищут ваши клиенты.
• Создание контента на эти темы.
• Оптимизацию созданных страниц под целевые ключевые фразы.
• Наращивание обратных ссылок.
• Постоянное поддержание контента в актуальном состоянии.

Вот видео, которое поможет разобраться в основах SEO:

https://www.youtube.com/watch?v=gPrD6QdM68w

…И несколько статей:

Напоследок

Есть только две возможные причины, почему Google не индексирует ваш сайт или веб-страницу:

1. Технические проблемы, которые не дают поисковому роботу сделать это.
2. Качество контента — Google считает ваш сайт или страницу некачественными и бесполезными для своих пользователей.

Вполне возможно, что имеют место обе эти проблемы. Но, по моему опыту, технические проблемы встречаются гораздо чаще. Технические проблемы также могут стать причиной автоматического создания индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.

Но проход по приведенному выше списку в девяти случаях из десяти должен решить проблемы индексирования.

Только не забывайте, что индексирование и ранжирование — это разные вещи. Выполнение поисковой оптимизации по-прежнему жизненно необходимо, если вы хотите вывести свои страницы в топ выдачи по подходящим поисковым запросам и привлечь стабильный поток естественного трафика.

Перевела Кирик Наталья, владелец студии по написанию текстов для сайтов WordFactory.ua