Боти Ahrefs
В Ahrefs ми використовуємо два основних веб-сканери — AhrefsBot і AhrefsSiteAudit — для підтримки нашого набору інструментів і послуг. Метою нашого сканування є надати допомогу власникам сайтів у покращенні їхньої присутності в мережі, з одночасною мінімізацією навантаження на їхні сервери та забезпеченням безпечної, прозорої поведінки сканування.
Our bots
AhrefsBot
- User-agent token in robots.txt:
AhrefsBot Obeys robots.txt: Yes
Obeys crawl delay: Yes
AhrefsSiteAudit
- User-agent token in robots.txt:
AhrefsSiteAudit Obeys robots.txt: Yes by default (website owners can request to disobey robots.txt on their sites)
Obeys crawl delay: Yes by default (website owners can request to disobey crawl delay on their sites)
Перевірено Cloudflare
Обидва боти — AhrefsBot і AhrefsSiteAudit — визнані перевіреними «хорошими» ботами компанією Cloudflare — провідною компанією в галузі веббезпеки та ефективності.
Verification and IP lists
IP-адреси
Ми скануємо з публічно опублікованих діапазонів IP. Ви можете отримати наші IP-адреси у вигляді діапазонів IP або індивідуальних IP. Інформацію про те, як додати наші IP-адреси до білого списку, можна знайти у статті
Зворотний DNS
Зворотний DNS-суфікс імені хоста IP-адреси завжди ahrefs.com або ahrefs.net.
Статус сайту
Ви можете перевірити статус вашого сайту, як його бачать наші боти, і чи можуть вони його сканувати:
Benefits for site owners
AhrefsBot індексує свіжу, точну інформацію про сайти та їхній контент, а також про те, як вони пов'язані між собою. Ці дані неймовірно корисні, і їх можна використовувати по-різному:
- AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
- AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
- AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges
Policies and commitments
Дотримання Robots.txt
Обидва боти суворо дотримуються robots.txt на обидві директиви заборони і дозволу, а також директиви crawl-delay. Тільки перевірені власники сайтів можуть дозволити сканеру AhrefsSiteAudit не виконувати robots.txt на своєму сайті, щоб перевірити проблеми в розділах сайту, які зазвичай заборонені для сканування.
Під час запиту HTML-сторінок відбувається суворе дотримання затримки сканування, що гарантує, що ми не перевищимо зазначені обмеження за швидкістю. Проте, це не можна враховувати при відтворенні JavaScript. Коли наші боти відтворюють сторінку, вони можуть одночасно запитувати кілька ресурсів (наприклад, зображення, скрипти, стилі), що може призвести до запитів, які з'являються в журналах сервера частіше, ніж дозволено налаштуваннями затримки сканування. Така поведінка імітує можливості реального користувача, оскільки сучасні вебсторінки часто вимагають завантаження кількох ресурсів одночасно для належного відображення та функціонування.
Кешування активів
Під час сканування ми кешуємо часто запитувані файли (зображення, CSS, JS) для зменшення повторних завантажень, що знижує споживання пропускної здатності та навантаження на сервер.
Управління навантаженням
Якщо ми зустрічаємо коди статусу, відмінні від 200, особливо помилки 4xx або 5xx, ми автоматично зменшуємо швидкість сканування для цього сайту. Це забезпечує мінімальне навантаження на сайти, які можуть зазнавати перебоїв у роботі або високого навантаження на сервер.
Прозорі практики
Ми розуміємо, що провайдери хостингу, CDN та платформи CMS можуть захотіти керувати тим, як боти взаємодіють з сайтами їх клієнтів. Наші загальнодоступні IP-адреси та рядки користувача-агента дозволяють вам або вашим постачальникам послуг швидко перевірити законний трафік Ahrefs. Ми зобов'язуємося бути прозорими у своїй діяльності зі сканування для сприяння довіри та співпраці. Якщо у вас є будь-які питання, зв'яжіться з [email protected], і ми зробимо все можливе, щоб допомогти.
Controlling bots behavior
Ми надаємо зрозумілі, дружні до користувача опції для управління нашими ботами:
Через Robots.txt
Щоб змінити частоту відвідування вашого сайту з боку AhrefsBot або AhrefsSiteAudit, просто вкажіть у файлі robots.txt мінімальну прийнятну затримку між двома послідовними запитами:
(Де значення Crawl-Delay — це час у секундах.)
Якщо ви хочете заборонити AhrefsBot або AhrefsSiteAudit відвідувати ваш сайт або певний його розділ, використовуйте директиви Disallow:
Зверніть увагу, що AhrefsBot може знадобитися час для внесення змін до файлу robots.txt. Це відбувається перед наступним запланованим скануванням. Перевірені власники сайтів можуть дозволити сканеру AhrefsSiteAudit ігнорувати robots.txt на своєму сайті, щоб перевірити наявність проблем у розділах сайту, які зазвичай заборонені для сканування.
Крім того, якщо ваш файл robots.txt містить помилки, наші боти не зможуть розпізнати ваші команди та продовжать сканування вашого вебсайту, як і раніше. Докладніше про robots.txt на www.robotstxt.org.
Повторні коди статусу, відмінні від 200, для зниження швидкості сканування
Ви можете тимчасово зменшити швидкість сканування AhrefsBot. Це може бути корисним у випадках перебоїв або інфраструктурних змін, коли навантаження на сайт потрібно зменшити. Тимчасове зменшення швидкості сканування можна зробити, повертаючи HTTP коди статусу 4xx або 5xx під час простою або вікна обслуговування. Наш бот автоматично визначить ці помилки та зменшить свою активність.
Налаштування швидкості в Site Audit
Бот AhrefsSiteAudit запобігає надмірному навантаженню на сервери сайтів, обмежуючи сканування до 30 URL-адрес на хвилину максимум. Якщо ви власник сайту, ви можете сканувати власні сайти на більшій швидкості, якщо хочете отримувати сповіщення про проблеми з сайтом швидше. Для цього вам потрібно підтвердити право власності в інструменті Site Audit.
Зв'язок з нами
Якщо у вас є будь-які питання про те, як часто ми скануємо, або якщо ви бачите підозрілий трафік, який потрібно підтвердити, зв'яжіться з [email protected]. Ми завжди готові допомогти з'ясувати та розв'язати будь-які питання.