AhrefsBot
Ontdek de webcrawler die Ahrefs aandrijft.
| Versie | 7.0 |
|---|---|
| Bot-type | Goed (identificeert zichzelf, heeft een officiële naam) |
| Categorie | Marketing |
| Respecteert robots.txt | Ja |
| Respecteert crawlvertraging | Ja |
| User-agent string | Mozilla/5.0 (compatibel; AhrefsBot/7.0; +http://ahrefs.com/robot/) |
| Reverse DNS-suffix | ahrefs.com or ahrefs.net |
| Bereik IP-adressen |
Websitestatus
Wat is AhrefsBot?
AhrefsBot is een webcrawler die de database voor zowel Ahrefs, een onlinedatatoolset, als Yep, een winstdelende webzoekmachine, aandrijft. Het is de op één na actiefste crawler na Google, en bezoekt elke 24 uur meer dan 8 miljard webpagina's, waarbij het zijn index elke 15–30 minuten updatet.
Onze bot indexeert verse, accurate informatie over websites en hun content en hoe ze naar elkaar linken. Deze data zijn ongelofelijk waardevol en kunnen op veel manieren worden benut:
Zoek met Yep om content van topkwaliteit en alle informatie die je nodig hebt te vinden, waarbij je een alternatieve zoekmachine steunt, die erop gericht is om geld in de zakken van je favoriete concentmakers te steken.
Ben je een website-eigenaar, gebruik Ahrefs dan om je websitestructuur, content en backlinks te analyseren om inzicht te krijgen in de prestaties – optimaliseer het daarna om de gebruikerservaring te verbeteren, hoger te ranken in zoekmachines en meer verkeer te krijgen.
Als het gaat om onderzoek op webschaal, laat Ahrefs je duiken in hoe de populariteit van een website of specifiek onderwerp is veranderd gedurende de tijd, welke websites naar welk type content linken, hoe vaak een merk onlangs is genoemd, enzovoorts.
Rank | Bot | Owner | Category |
|---|---|---|---|
1 | GoogleBot | Search Engine Crawler | |
2 | AhrefsBot | Ahrefs | Search Engine Optimization |
3 | Qualys | Qualys | Security |
4 | BingBot | Microsoft | Search Engine Crawler |
5 | Amazonbot | Amazon | AI Search |
Bots gerangschikt op aantal verzoeken. Gegevens verstrekt in december 2024
Vragen? Wij hebben antwoorden
Respecteert AhrefsBot robots.txt-bestanden?
Ja. Absoluut.We respecteren je robots.txt volledig voor zowel disallow- als allow-regels.Hoe beheer ik AhrefsBot op mijn website?
Omdat AhrefsBot het robots.txt-bestand op jouw website volledig respecteert, heb jij alle controle over wat deze doet.Specificeer gewoon de minimale acceptabele vertraging tussen twee opeenvolgende verzoeken in je robots.txt-bestand om de frequentie waarmee AhrefsBot jouw site bezoekt aan te passen:User-agent: AhrefsBotCrawl-Delay: [waarde](Waar Crawl-Delaywaarde tijd in seconden is)Als je wilt dat AhrefsBot jouw site niet meer bezoekt, voeg dan deze twee regels toe aan het robots.txt-bestand op je server:User-agent: AhrefsBotDisallow: /NB: AhrefsBot kan wat tijd nodig hebben om de wijzigingen in je robots.txt-bestand op te pikken. Dit gebeurt voor de volgende ingeplande crawl.En, als je robots.txt fouten bevat, zal AhrefsBot je commands niet herkennen en je website blijven crawlen zoals die dat eerder deed.Lees meer over robots.txt op www.robotstxt.org.Neem contact op met [email protected] als je denkt dat AhrefsBot zich misdraagt op jouw website of wanneer je vragen hebt, dan zullen we je zo goed mogelijk helpen.
Heb je andere vragen?
Als je nog vragen hebt,
contact voor hulp.