AhrefsSiteAudit Crawler

Dowiedz się o webcrawlerze, który napędza narzędzie Ahrefs do audytu witryny.

Wersja	6.1
Typ bota	Dobry (identyfikuje się, ma oficjalny przydomek)
Kategoria	SEO
Przestrzega robots.txt	Tak, domyślnie (właściciele witryn mogą zażądać nieprzestrzegania pliku robots.txt na swoich stronach)
Przestrzega opóźnienia indeksowania	Domyślnie tak (właściciele witryn mogą zażądać wyłączenia opóźnienia indeksowania w swoich witrynach)
Ciąg user-agent dla desktopu	Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Ciąg identyfikatora użytkownika mobilnego	Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, tak jak Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (kompatybilny z; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Sufiks odwrotnego DNS	ahrefs.com or ahrefs.net
Zakres adresów IP	Obecna lista, dokumentacja API

Status strony internetowej

Czym jest robot indeksujący AhrefsSiteAudit?

AhrefsSiteAudit to robot sieciowy, który zasila narzędzie Site Audit Ahrefs. Użytkownicy Ahrefs mogą korzystać z Site Audit do analizy stron internetowych i znajdowania zarówno technicznych problemów SEO, jak i problemów SEO na stronie.

Ten bot może przeszukiwać każdą stronę, o ile nie jest to zabronione, i zapobiega nadmiernemu obciążeniu serwerów stron internetowych, ograniczając przeszukiwanie do 1 żądania na 2 sekundy domyślnie. Jeśli jesteś właścicielem strony internetowej, możesz szybciej przeszukiwać własne strony i pozwolić skanerowi AhrefsSiteAudit ignorować robots.txt. Aby to zrobić, musisz zweryfikować własność w narzędziu Site Audit.

Pytania? Mamy odpowiedzi

Co robi bot AhrefsSiteAudit na mojej stronie internetowej?
Jeśli widzisz AhrefsSiteAudit w logu serwera, oznacza to, że ktoś przeprowadził analizę Twojej strony internetowej za pomocą narzędzia Site Audit od Ahrefs. Ten bot przeszukuje stronę i podąża za jej wewnętrznymi linkami od jednego URL do drugiego. Sprawdza także zasoby strony, takie jak pliki CSS, JS i obrazy.Crawler AhrefsSiteAudit nie dodaje liczb do ruchu w Google Analytics.
Czy respektuje plik robots.txt?
Tak. Domyślnie.Tylko zweryfikowani właściciele mogą zezwolić botowi AhrefsSiteAudit na nieprzestrzeganie pliku robots.txt na swojej stronie.
Jak kontrolować AhrefsSiteAudit crawler na mojej stronie?
Ponieważ bot AhrefsSiteAudit ściśle przestrzega pliku robots.txt na twojej stronie, masz pełną kontrolę nad tym, co robi.Jeśli chcesz, aby AhrefsSiteAudit przestał odwiedzać twoją stronę, dodaj te dwie linie do pliku robots.txt na swoim serwerze:
User-agent: AhrefsSiteAuditOdrzuć
Możesz także zezwolić lub zablokować indeksowanie dowolnej części witryny za pomocą pliku robots.txt. Więcej informacji na temat pliku robots.txt można znaleźć pod adresem www.robotstxt.org.Bot AhrefsSiteAudit sprawdza Twój plik robots.txt przed każdym nowym indeksowaniem.Jeśli Twój plik robots.txt zawiera błędy, bot AhrefsSiteAudit nie będzie w stanie rozpoznać Twoich poleceń i będzie kontynuował przeszukiwanie Twojej strony tak jak wcześniej.Jeśli uważasz, że bot AhrefsSiteAudit nie działa poprawnie na Twojej stronie lub masz jakiekolwiek pytania, prosimy o kontakt na [email protected], a my dołożymy wszelkich starań, aby pomóc.

Masz inne pytania?

Jeśli masz więcej pytań,
skontaktuj się z nami, abyśmy mogli pomóc.