AhrefsSiteAudit Crawler

Дізнайтеся про веб-сканер, який забезпечує роботу інструменту Site Audit від Ahrefs.

Версія
6,1
Тип бота
Добре (Ідентифікує себе, має офіційний псевдонім)
Категорія
SEO
Дотримується robots.txt
Так, за замовчуванням (власники вебсайтів можуть попросити не використовувати файл robots.txt на своїх сайтах)
Дотримується затримки при скануванні
Так за замовчуванням (власники вебсайтів можуть вимагати відключення затримки сканування на своїх сайтах)
Рядок агента користувача стаціонарного комп'ютера
Mozilla/5.0 (сумісний; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Рядок мобільного агента користувача
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, як Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (сумісний; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Зворотний DNS-суфікс
ahrefs.com or ahrefs.net
Діапазон IP-адрес

Статус вебсайту

Перевірте статус вашого сайту і чи можна його сканувати

Що таке краулер AhrefsSiteAudit?

AhrefsSiteAudit - це веб-сканер, який забезпечує роботу інструменту Site Audit від Ahrefs. Користувачі Ahrefs можуть використовувати Site Audit для аналізу вебсайтів і виявлення як технічних, так і внутрішніх SEO-проблем.

Цей бот може сканувати будь-який сайт, якщо це не заборонено, і запобігає надмірному навантаженню на сервери сайтів, обмежуючи сканування до 1 запиту на 2 секунди за замовчуванням. Якщо ви власник сайту, ви можете сканувати власні сайти на більш високій швидкості, а також дозволити сканеру AhrefsSiteAudit ігнорувати файл robots.txt. Для цього вам потрібно підтвердити право власності в інструменті Site Audit.

Є запитання? У нас є відповіді

  • Що робить бот AhrefsSiteAudit на моєму вебсайті?

    Якщо ви бачите AhrefsSiteAudit в журналі вашого сервера, це означає, що хтось провів аналіз вашого сайту за допомогою інструменту Ahrefs Site Audit. Цей бот сканує вебсайт і переходить за його внутрішніми посиланнями від однієї URL-адреси до іншої. Він також перевіряє ресурси сайту, такі як файли CSS, JS і зображення.Сканер AhrefsSiteAudit не додає цифри до вашого трафіку Google Analytics.
  • Чи підтримує програма файли robots.txt?

    Так. За замовчуванням.Тільки перевірені власники можуть дозволити сканеру AhrefsSiteAudit не враховувати файл robots.txt на своєму сайті.
  • Як керувати сканером AhrefsSiteAudit на моєму сайті?

    Оскільки бот AhrefsSiteAudit суворо дотримується файлу robots.txt на вашому сайті, ви повністю контролюєте його дії.Якщо ви хочете заборонити AhrefsSiteAudit відвідувати ваш сайт, додайте ці два рядки до файлу robots.txt на вашому сервері:
    Ідентифікатор браузера: AhrefsSiteAuditЗаборонити: /
    Ви також можете дозволити або заборонити сканування будь-якої частини вашого вебсайту за допомогою файла robots.txt. Більше про robots.txt читайте на www.robotstxt.org.AhrefsSiteAudit бот перевіряє ваш файл robots.txt перед кожним новим скануванням.Якщо ваш файл robots.txt містить помилки, бот AhrefsSiteAudit не зможе розпізнати ваші команди і продовжить сканування сайту, як і раніше.Якщо ви вважаєте, що бот AhrefsSiteAudit поводиться некоректно на вашому вебсайті або у вас є будь-які питання, пишіть нам на адресу [email protected], і ми докладемо всіх зусиль, щоб допомогти вам.

Ще є питання?

Якщо у вас виникли додаткові запитання,
зв'яжіться з нами, щоб ми могли допомогти.