AhrefsBot

Erfahre mehr über den Webcrawler, der Ahrefs antreibt.

Version
7.0
Bot-Typ
Gut (Identifiziert sich selbst, hat einen offiziellen Namen)
Kategorie
Marketing
Obeys robots.txt
Ja
Befolgt Crawl-Delay
Ja
User-Agent-String
Mozilla/5.0 (kompatibel; AhrefsBot/7.0; +http://ahrefs.com/robot/)
Reverse-DNS-Suffix
ahrefs.com or ahrefs.net
IP-Adressbereich

Website-Status

Prüfe den Status deiner Website und ob sie gecrawlt werden kann

Was genau ist AhrefsBot?

AhrefsBot ist ein Web-Crawler, der die Datenbank sowohl für Ahrefs, ein Online-Datentoolset, als auch für Yep, eine Suchmaschine mit Umsatzbeteiligung, betreibt. Er ist nach Google der zweitaktivste Crawler, besucht alle 24 Stunden über 8 Milliarden Webseiten und aktualisiert seinen Index alle 15 bis 30 Minuten.

Unser Bot indexiert frische, genaue Informationen über Websites und ihre Inhalte und wie sie miteinander verlinkt sind. Diese Daten sind unglaublich nützlich und können auf viele Arten genutzt werden:

  • Suche mit Yep, um hochwertige Inhalte und alle Informationen zu finden, die du benötigst, und unterstütze gleichzeitig eine alternative Suchmaschine, die darauf abzielt, deine Lieblings-Content-Ersteller zu entlohnen.

  • Wenn du ein Webseitenbesitzer bist, nutze Ahrefs, um die Struktur, den Inhalt und die Backlinks deiner Website zu analysieren, um Einblicke in deren Leistung zu gewinnen – optimiere sie anschließend, um die Nutzererfahrung zu verbessern, höher in Suchmaschinen zu ranken und mehr Traffic zu erhalten.

  • Wenn es um Web-Scale-Forschung geht, ermöglicht dir Ahrefs, tief zu erforschen, wie sich die Beliebtheit einer Website oder eines bestimmten Themas im Laufe der Zeit verändert hat, welche Websites auf welche Inhalte verlinken, wie oft eine Marke zuletzt erwähnt wurde und so weiter.

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

AhrefsBot

Ahrefs

Search Engine Optimization

3

Qualys

Qualys

Security

4

BingBot

Microsoft

Search Engine Crawler

5

Amazonbot

Amazon

AI Search

Bots, sortiert nach Anzahl der Anfragen. Daten bis Dezember 2024

Fragen? Wir haben Antworten

  • Beachtet AhrefsBot die robots.txt?

    Ja. Natürlich.Wir halten uns strikt an die Verbots- und Erlaubnisregeln in der robots.txt.
  • Wie kontrolliere ich AhrefsBot auf meiner Website?

    Da AhrefsBot die robots.txt-Datei auf deiner Website strikt befolgt, hast du die volle Kontrolle darüber, was er tut.Um die Häufigkeit zu ändern, mit der AhrefsBot deine Website besucht, gib einfach die minimale akzeptable Verzögerung zwischen zwei aufeinanderfolgenden Anfragen in deiner robots.txt-Datei an:
    User-Agent: AhrefsBotCrawl-Verzögerung: [value](Wobei die Crawl-Verzögerung in Sekunden angegeben wird.)
    Wenn du möchtest, dass AhrefsBot nicht mehr deine Website besucht, füge diese zwei Zeilen in die robots.txt-Datei auf deinem Server ein:
    User-Agent: AhrefsBotDisallow: /
    Bitte beachte, dass AhrefsBot etwas Zeit benötigt, um die Änderungen in deiner robots.txt-Datei zu erkennen. Dies geschieht vor dem nächsten geplanten Crawl.Wenn deine robots.txt Fehler enthält, kann der AhrefsBot deine Befehle nicht erkennen und wird deine Website weiterhin wie zuvor crawlen.Siehe mehr über robots.txt auf www.robotstxt.org.Wenn du der Meinung bist, dass sich AhrefsBot auf deiner Website nicht richtig verhält, oder wenn du Fragen hast, wende dich bitte an [email protected]. Wir werden unser Bestes tun, um dir zu helfen.

Du hast andere Fragen?

Falls du weitere Fragen hast,
kontaktiere uns, damit wir dir helfen können.