Узнайте о веб-краулере, который поддерживает инструмент аудита сайтов Ahrefs.
| Версия | 6.1 |
|---|---|
| Тип бота | Хороший (Определяет себя, имеет официальное прозвище) |
| Категория | SEO |
| Obeys robots.txt | Да, по умолчанию (владельцы сайтов могут запросить игнорирование robots.txt на своих сайтах) |
| Obeys crawl delay | Yes by default (website owners can request to disobey crawl delay on their sites) |
| Строка user-agent для настольных устройств | Mozilla/5.0 (совместимый; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| Строка мобильного пользовательского агента | Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| Обратный DNS-суффикс | ahrefs.com or ahrefs.net |
| Диапазон IP-адресов |
AhrefsSiteAudit — это веб-краулер, который обеспечивает работу инструмента анализа сайта Ahrefs. Пользователи Ahrefs могут использовать Site Audit для анализа веб-сайтов и выявления как технических, так и на странице проблем SEO.
Этот бот может сканировать любой веб-сайт, если это не запрещено, и предотвращает чрезмерную нагрузку на серверы веб-сайтов, ограничивая сканирование до 1 запроса каждые 2 секунды по умолчанию. Если вы владелец веб-сайта, вы можете сканировать свои сайты с более высокой скоростью и позволить сканеру AhrefsSiteAudit игнорировать файл robots.txt. Для этого вам нужно будет подтвердить права собственности в инструменте Site Audit.
What is AhrefsSiteAudit bot doing on my website?
Учитывает ли файл robots.txt?
Как я могу контролировать сканер AhrefsSiteAudit на своем веб-сайте?
Если у вас есть дополнительные вопросы,
свяжитесь с нами, чтобы мы могли помочь.