AhrefsBot

Ontdek de webcrawler die Ahrefs aandrijft.

Versie
7.0
Bot-type
Goed (identificeert zichzelf, heeft een officiële naam)
Categorie
Marketing
Respecteert robots.txt
Ja
Respecteert crawl delay
Ja
User-agent string
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
Reverse DNS-suffix
ahrefs.com
Bereik IP-adressen

Websitestatus

Check de status van je website, en of deze kan worden gecrawld

Wat is AhrefsBot?

AhrefsBot is een webcrawler die de database aandrijft voor zowel Ahrefs, een onlinedatatoolset, als Yep, een winstdelende webzoekmachine. Het is de op één na actiefste crawler na Google, en bezoekt meer dan 8 miljard webpagina's iedere 24 uur, waarbij het zijn index elke 15–30 minuten bijwerkt.

Onze bot indexeert verse, accurate informatie over websites en hun content, en hoe ze naar elkaar linken. Deze data zijn ongelofelijk waardevol en kunnen op veel manieren worden benut:

  • Zoek met Yep om topkwaliteit content en alle informatie die je nodig hebt te vinden, waarbij je een alternatieve zoekmachine steunt, die erop gericht is om geld in de zakken van je favoriete concentmakers te steken.

  • Ben je een website-eigenaar, gebruik Ahrefs dan om je websitestructuur, content en backlinks te analyseren om inzicht te krijgen in de prestaties – optimaliseer het daarna om de gebruikerservaring te verbeteren, hoger te ranken in zoekmachines, en meer verkeer te krijgen.

  • Als het gaat om web-scale onderzoek, laat Ahrefs je in duiken in hoe de populariteit van een website of specifiek onderwerp is veranderd gedurende de tijd, welke websites naar welk type content linken, hoe vaak een merk onlangs is genoemd, enzovoorts.

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

AhrefsBot

Ahrefs

Search Engine Optimization

3

Qualys

Qualys

Security

4

BingBot

Microsoft

Search Engine Crawler

5

Amazonbot

Amazon

AI Search

6

Google Image Proxy

Google

Page Preview

7

Google AdsBot

Google

Advertising & Marketing

8

YandexBot

Yandex

Search Engine Crawler

9

Google API

Google

Webhooks

10

Synthetic Bot

DataDog

Monitoring & Analytics

Bots gerangschikt op aantal aanvragen. Gegevens verstrekt per december 2024

Vragen? Wij hebben antwoorden

  • Respecteert AhrefsBot robots.txt-files?

    Ja. Absoluut.We respecteren je robots.txt volledig voor zowel disallow- als allow-regels.

  • Hoe beheer ik AhrefsBot op mijn website?

    Omdat AhrefsBot het robots.txt-bestand op jouw website volledig respecteert, heb jij alle controle over wat deze doet.Specificeer gewoon de minimale acceptabele delay tussen twee opeenvolgende requests in je robots.txt-bestand om de frequentie waarmee AhrefsBot jouw site bezoekt aan te passen:
    User-agent: AhrefsBotCrawl-Delay: [value](Waar Crawl-Delaywaarde tijd in seconden is)
    Als je wilt dat AhrefsBot jouw site niet meer bezoekt, voeg dan deze twee regels toe aan het robots.txt-bestand op je server:
    User-agent: AhrefsBotDisallow: /
    NB: AhrefsBot kan wat tijd nodig hebben om de wijzigingen in je robots.txt-bestand op te pikken. Dit gebeurt voor de volgende ingeplande crawl.En, als je robots.txt fouten bevat, zal AhrefsBot je commands niet herkennen en je website blijven crawlen zoals die dat eerder deed.Lees meer over robots.txt op www.robotstxt.org.Neem contact op met [email protected] als je denkt dat AhrefsBot zich misdraagt op jouw website of wanneer je vragen hebt, dan zullen we je zo goed mogelijk helpen.

Heb je andere vragen?

Als je nog vragen hebt, neem contact met ons op voor hulp.