Ahrefs-Bots

IP-Adressen

Wir crawlen aus öffentlich veröffentlichten IP-Bereichen. Sie können unsere IP-Adressen als IP-Bereiche oder Einzel-IP-Adressen abrufen. Informationen zur Whitelist unserer IPs finden Sie im Hilfeartikel

Reverse-DNS

Der Reverse-DNS-Suffix des IPs-Hostnamens ist immer ahrefs.com oder ahrefs.net.

Website-Status

Du kannst den Status deiner Website überprüfen, wie sie von unseren Bots gesehen wird, und ob sie von ihnen gecrawlt werden kann:

AhrefsBot indexiert frische, genaue Informationen über Websites und deren Inhalte sowie deren Verlinkung. Diese Daten sind unglaublich nützlich und können auf viele Arten genutzt werden:

• AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
• AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
• AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges

Einhaltung von Robots.txt

Beide Bots respektieren strikt robots.txt sowohl bei disallow- als auch bei allow-Regeln sowie crawl-delay-Richtlinien. Nur verifizierte Website-Besitzer können dem AhrefsSiteAudit-Crawler erlauben, die robots.txt auf ihrer Seite zu ignorieren, um Probleme in den normalerweise vom Crawlen ausgeschlossenen Bereichen der Website zu überprüfen.

Die Crawl-Verzögerung wird strikt eingehalten, wenn HTML-Seiten angefordert werden, um sicherzustellen, dass wir die festgelegten Ratenlimits nicht überschreiten. Es kann jedoch nicht eingehalten werden, wenn JavaScript gerendert wird. Wenn unsere Bots eine Seite rendern, können sie mehrere Assets (z. B. Bilder, Skripte, Stylesheets) gleichzeitig anfordern, was dazu führen kann, dass in den Serverprotokollen häufiger Anfragen erscheinen, als durch die Crawl-Verzögerung erlaubt. Dieses Verhalten imitiert die Erfahrung eines echten Benutzers, da moderne Webseiten häufig mehrere Ressourcen gleichzeitig laden müssen, um ordnungsgemäß gerendert und funktional zu sein.

Caching von Assets

Während des Crawlens zwischenspeichern wir häufig angeforderte Dateien (Bilder, CSS, JS), um wiederholte Abrufe zu minimieren, was den Bandbreitenverbrauch und die Serverlast reduziert.

Loadmanagement

Wenn wir auf nicht-200-Statuscodes stoßen, insbesondere 4xx- oder 5xx-Fehler, reduzieren wir automatisch unsere Crawling-Geschwindigkeit für diese Website. Dies minimiert die Belastung für Websites, die möglicherweise Ausfälle oder eine hohe Serverlast erleben.

Transparente Praktiken

Wir verstehen, dass Hosting-Anbieter, CDNs und CMS-Plattformen managen möchten, wie Bots mit den Websites ihrer Kunden interagieren. Unsere öffentlich zugänglichen IP-Adressen und User-Agent-Strings ermöglichen es Ihnen oder Ihren Dienstleistern, den legitimen Ahrefs-Traffic schnell zu verifizieren. Wir sind bestrebt, über unsere Crawling-Aktivitäten transparent zu sein, um Vertrauen und Zusammenarbeit zu fördern. Wenn Sie Bedenken haben, wenden Sie sich an [email protected] und wir werden unser Bestes tun, um zu helfen.