Ahrefs-Bots

IP-Adressen

Wir crawlen aus öffentlich veröffentlichten IP-Bereichen. Sie können unsere IP-Adressen als IP-Bereiche oder Einzel-IP-Adressen abrufen. Informationen zur Whitelist unserer IPs finden Sie im Hilfeartikel

Reverse-DNS

Der Reverse-DNS-Suffix des IPs-Hostnamens ist immer ahrefs.com oder ahrefs.net.

Website-Status

Du kannst den Status deiner Website überprüfen, wie sie von unseren Bots gesehen wird, und ob sie von ihnen gecrawlt werden kann:

AhrefsBot indexiert frische, genaue Informationen über Websites und deren Inhalte sowie deren Verlinkung. Diese Daten sind unglaublich nützlich und können auf viele Arten genutzt werden:

• AhrefsBot betreibt Yep – eine unabhängige, datenschutzorientierte Suchmaschine. Die Aufnahme in den Index von Yep hilft Website-Besitzern, ein neues Publikum zu erreichen.
• AhrefsBot versorgt das Ahrefs-Toolset mit Daten. Website-Besitzer können ein Ahrefs Kostenlos-Konto erstellen und die Domain-Eigentümerschaft überprüfen, um Website-Analysen freizuschalten, einschließlich Zugriff auf detaillierte Backlink-Daten, Website-Leistungsmetriken und Überwachung von Inhaltsänderungen. Ahrefs bietet auch eine Reihe von kostenlosen SEO-Tools an, die jeder nutzen kann, ohne ein Konto zu erstellen.
• AhrefsSiteAudit betreibt unser Site Audit Tool. Site Audit überprüft Websites auf technische und On-Page-Probleme wie defekte Links, langsame Leistung, Sicherheitsfehlkonfigurationen und SEO-Fallen. Durch Crawlen und Rendern von Seiten helfen wir, Verbesserungen zu identifizieren, die die Sichtbarkeit, Ladegeschwindigkeit und das gesamte Nutzererlebnis steigern können. Ahrefs bietet auch die Möglichkeit, Site Audit kostenlos auf verifizierten Websites auszuführen, damit Website-Besitzer technische Probleme ohne zusätzliche Kosten entdecken und beheben können

Einhaltung von Robots.txt

Beide Bots respektieren strikt robots.txt sowohl bei disallow- als auch bei allow-Regeln sowie crawl-delay-Richtlinien. Nur verifizierte Website-Besitzer können dem AhrefsSiteAudit-Crawler erlauben, die robots.txt auf ihrer Seite zu ignorieren, um Probleme in den normalerweise vom Crawlen ausgeschlossenen Bereichen der Website zu überprüfen.

Die Crawl-Verzögerung wird strikt eingehalten, wenn HTML-Seiten angefordert werden, um sicherzustellen, dass wir die festgelegten Ratenlimits nicht überschreiten. Es kann jedoch nicht eingehalten werden, wenn JavaScript gerendert wird. Wenn unsere Bots eine Seite rendern, können sie mehrere Assets (z. B. Bilder, Skripte, Stylesheets) gleichzeitig anfordern, was dazu führen kann, dass in den Serverprotokollen häufiger Anfragen erscheinen, als durch die Crawl-Verzögerung erlaubt. Dieses Verhalten imitiert die Erfahrung eines echten Benutzers, da moderne Webseiten häufig mehrere Ressourcen gleichzeitig laden müssen, um ordnungsgemäß gerendert und funktional zu sein.

Caching von Assets

Während des Crawlens zwischenspeichern wir häufig angeforderte Dateien (Bilder, CSS, JS), um wiederholte Abrufe zu minimieren, was den Bandbreitenverbrauch und die Serverlast reduziert.

Loadmanagement

Wenn wir auf nicht-200-Statuscodes stoßen, insbesondere 4xx- oder 5xx-Fehler, reduzieren wir automatisch unsere Crawling-Geschwindigkeit für diese Website. Dies minimiert die Belastung für Websites, die möglicherweise Ausfälle oder eine hohe Serverlast erleben.

Transparente Praktiken

Wir verstehen, dass Hosting-Anbieter, CDNs und CMS-Plattformen managen möchten, wie Bots mit den Websites ihrer Kunden interagieren. Unsere öffentlich zugänglichen IP-Adressen und User-Agent-Strings ermöglichen es Ihnen oder Ihren Dienstleistern, den legitimen Ahrefs-Traffic schnell zu verifizieren. Wir sind bestrebt, über unsere Crawling-Aktivitäten transparent zu sein, um Vertrauen und Zusammenarbeit zu fördern. Wenn Sie Bedenken haben, wenden Sie sich an [email protected] und wir werden unser Bestes tun, um zu helfen.

Wir bieten klare, benutzerfreundliche Optionen zur Steuerung unserer Bots: