Boty Ahrefs
W Ahrefs korzystamy z dwóch podstawowych robotów indeksujących – AhrefsBot i AhrefsSiteAudit – aby wspierać nasz zestaw narzędzi i usług. Naszym celem jest pomoc właścicielom stron w poprawie ich obecności online, przy jednoczesnym minimalizowaniu obciążenia ich serwerów oraz zapewnieniu bezpiecznego i przejrzystego działania bota.
Nasze boty
AhrefsBot
- Token agenta użytkownika w pliku robots.txt:
AhrefsBot Stosuje się do pliku robots.txt: tak
Stosuje się do reguły crawl-delay: tak
AhrefsSiteAudit
- Token agenta użytkownika w pliku robots.txt:
AhrefsSiteAudit Stosuje się do pliku robots.txt: tak, domyślnie (właściciele witryn mogą zażądać niezastosowania się do pliku robots.txt na swoich stronach)
Stosuje się do opóźnień przeszukiwania: tak domyślnie (właściciele witryn mogą poprosić o niezastosowanie opóźnienia przeszukiwania w swoich witrynach)
Cloudflare zweryfikowany
Zarówno AhrefsBot, jak i AhrefsSiteAudit są uznawane za zweryfikowane „dobre” boty przez Cloudflare, wiodącą firmę zajmującą się bezpieczeństwem i wydajnością sieci.
Weryfikacja i listy IP
Adresy IP
Indeksujemy publicznie opublikowane zakresy adresów IP. Nasze adresy IP można pobrać jako zakresy IP lub poszczególne IP. Informacje na temat umieszczania naszych adresów IP na białej liście można znaleźć w artykule pomocy.
Odwrotny DNS
Odwrotny sufiks DNS dla nazwy hosta IP to zawsze ahrefs.com lub ahrefs.net.
Status witryny
Można sprawdzić status witryny, ponieważ jest ona widziana przez nasze boty, i to, czy może być przez nie indeksowana:
Korzyści dla właścicieli witryn
AhrefsBot indeksuje świeże, dokładne informacje o stronach internetowych i ich treści oraz sposobie, w jaki łączą się one między sobą. Te dane są niezwykle użyteczne i mogą być wykorzystywane na wiele sposobów:
- AhrefsBot zasila Yep – niezależną wyszukiwarkę skupiającą się na prywatności. Uwzględnienie w indeksie Yep pomaga właścicielom witryn dotrzeć do nowych odbiorców.
- AhrefsBot przekazuje dane do zestawu narzędzi Ahrefs. Właściciele witryn mogą utworzyć konto Ahrefs Free i zweryfikować własność domeny, aby odblokować analitykę witryny, w tym dostęp do szczegółowych danych dotyczących linków zwrotnych, wskaźników wydajności witryny i monitorowania zmian treści. Ahrefs oferuje również pakiet darmowych narzędzi SEO, z których może skorzystać każdy bez konieczności zakładania konta.
- AhrefsSiteAudit zasila nasze narzędzie Site Audit. Site Audit sprawdza witryny pod kątem problemów technicznych i problemów na stronie, takich jak niedziałające linki, niska wydajność, błędy w zabezpieczeniach i pułapki SEO. Poprzez indeksowanie i renderowanie stron pomagamy zidentyfikować ulepszenia, które mogą zwiększyć widoczność, szybkość ładowania i ogólne wrażenia użytkownika. Ahrefs zapewnia również opcję bezpłatnego uruchomienia Site Audit na zweryfikowanych stronach internetowych, pomagając właścicielom witryn odkryć i naprawić problemy techniczne, a wszystko to bez ponoszenia jakichkolwiek opłat
Polityki i zobowiązania
Zastosowanie pliku robots.txt
Oba boty ściśle przestrzegają robots.txt dla reguł disallow i allow, jak również dyrektyw crawl-delay. Tylko zweryfikowani właściciele witryn mogą zezwolić crawlerowi AhrefsSiteAudit na nieprzestrzeganie pliku robots.txt na ich witrynie, dzięki czemu mogą oni sprawdzać błędy w sekcjach witryny normalnie niedozwolonych do indeksowania.
Opóźnienie indeksowania jest ściśle przestrzegane podczas żądania stron HTML, co zapewnia, że nie przekroczymy określonych limitów szybkości. Nie można go jednak przestrzegać podczas renderowania JavaScript. Gdy nasze boty renderują stronę, mogą zażądać wielu zasobów (np. obrazów, skryptów, arkuszy stylów) jednocześnie, co może skutkować częstszymi żądaniami pojawiającymi się w dziennikach serwera niż dozwolone przez ustawienie opóźnienia indeksowania. Takie zachowanie naśladuje rzeczywiste doświadczenie użytkownika, ponieważ nowoczesne strony internetowe często wymagają jednoczesnego załadowania wielu zasobów w celu prawidłowego renderowania i funkcjonalności.
Pamięć podręczna zasobów
Podczas indeksowania buforujemy często wymagane pliki (obrazy, CSS, JS), aby zminimalizować wielokrotne pobieranie, co zmniejsza zużycie przepustowości i obciążenie serwera.
Zarządzanie obciążeniem
Jeśli napotkamy kody stanu inne niż 200, zwłaszcza błędy 4xx lub 5xx, automatycznie zmniejszamy prędkość indeksowania dla tej witryny. Zapewnia to minimalne obciążenie witryn, które mogą doświadczać przestojów lub dużego obciążenia serwera.
Przejrzyste praktyki
Rozumiemy, że dostawcy usług hostingowych, sieci CDN i platformy CMS mogą chcieć zarządzać interakcją botów z witrynami swoich klientów. Nasze publicznie dostępne adresy IP i ciągi agentów użytkownika pozwalają tobie lub twoim dostawcom usług szybko zweryfikować legalny ruch Ahrefs. Dążymy do przejrzystości naszych działań związanych z indeksowaniem, aby wspierać zaufanie i współpracę. Jeśli masz jakiekolwiek wątpliwości, skontaktuj się z [email protected], a my dołożymy wszelkich starań, aby pomóc.
Kontrolowanie zachowania botów
Oferujemy jasne, przyjazne dla użytkownika opcje kontrolowania naszych botów:
Przez robots.txt
Aby zmienić częstotliwość, z jaką AhrefsBot lub AhrefsSiteAudit odwiedzają twoją stronę, po prostu określ minimalne dopuszczalne opóźnienie między dwoma kolejnymi żądaniami w pliku robots.txt:
(Gdzie wartość Crawl-Delay to czas mierzony w sekundach).
Jeśli chcesz uniemożliwić AhrefsBot lub AhrefsSiteAudit odwiedzanie Twojej witryny lub jej sekcji, użyj dyrektyw Disallow:
Należy pamiętać, że AhrefsBot może potrzebować trochę czasu, aby wychwycić zmiany w pliku robots.txt. Jest to wykonywane przed następnym zaplanowanym wyszukiwaniem. Zweryfikowani właściciele witryn mogą pozwolić na ignorowanie przez AhrefsSiteAudit pliku robots.txt, aby mogli sprawdzić problemy w sekcjach witryny, które są normalnie niedozwolone do indeksowania.
Ponadto, jeśli plik robots.txt zawiera błędy, nasze boty nie będą w stanie rozpoznać poleceń i będą kontynuować indeksowanie witryny w sposób, w jaki robiły to wcześniej. Przeczytaj więcej o robots.txt na www.robotstxt.org.
Zwracanie kodów stanu innych niż 200 w celu zmniejszenia prędkości indeksowania
Możesz tymczasowo zmniejszyć prędkość indeksowania AhrefsBot. Może to być przydatne w przypadku awarii lub zmian infrastrukturalnych, gdy obciążenie witryny powinno zostać zmniejszone. Tymczasowe zmniejszenie szybkości indeksowania można osiągnąć poprzez zwrócenie kodów stanu HTTP 4xx lub 5xx na czas przerwy lub okna konserwacji. Nasz bot wykryje te błędy i automatycznie się wycofa.
Dostosowanie ustawień prędkości w Site Audit
Bot AhrefsSiteAudit zapobiega nadmiernemu obciążeniu serwerów witryn internetowych, ograniczając indeksowanie do maksymalnie 30 adresów URL na minutę. Jeśli jesteś właścicielem witryny, możesz indeksować własne witryny z większą prędkością, jeśli chcesz szybciej otrzymywać powiadomienia o problemach z witryną. Aby to zrobić, musisz zweryfikować własność w narzędziu Site Audit.
Skontaktuj się z nami
Jeśli masz jakiekolwiek wątpliwości dotyczące częstotliwości naszego indeksowania lub jeśli widzisz podejrzany ruch, który chcesz potwierdzić, skontaktuj się z nami pod adresem [email protected]. Jesteśmy tutaj, aby pomóc wyjaśnić i rozwiązać wszelkie problemy.