AhrefsBot

Ontdek de webcrawler die Ahrefs aandrijft.

Versie
7.0
Bot-type
Goed (identificeert zichzelf, heeft een officiële naam)
Categorie
Marketing
Respecteert robots.txt
Ja
Respecteert crawl delay
Ja
User-agent string
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
Reverse DNS-suffix
ahrefs.com
Bereik IP-adressen

Websitestatus

Check de status van je website, en of deze kan worden gecrawld

Wat is AhrefsBot?

AhrefsBot is een webcrawler die de database voor zowel Ahrefs, een onlinedatatoolset, en Yep, een winstdelende zoekmachine aandrijft. Het is de op twee na actiefste webcrawler, na die van Google en Bing, en bezoekt iedere 24 uur meer dan 8 miljard webpagina’s, waarbij het zijn index iedere 15–30 minuten updatet.

Onze bot indexeert verse, accurate informatie over websites en hun content, en hoe ze naar elkaar linken. Deze data zijn ongelofelijk waardevol en kunnen op veel manieren worden benut:

  • Zoek met Yep om topkwaliteit content en alle informatie die je nodig hebt te vinden, waarbij je een alternatieve zoekmachine steunt, die erop gericht is om geld in de zakken van je favoriete concentmakers te steken.

  • Ben je een website-eigenaar, gebruik Ahrefs dan om je websitestructuur, content en backlinks te analyseren om inzicht te krijgen in de prestaties – optimaliseer het daarna om de gebruikerservaring te verbeteren, hoger te ranken in zoekmachines, en meer verkeer te krijgen.

  • Als het gaat om web-scale onderzoek, laat Ahrefs je in duiken in hoe de populariteit van een website of specifiek onderwerp is veranderd gedurende de tijd, welke websites naar welk type content linken, hoe vaak een merk onlangs is genoemd, enzovoorts.

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

BingBot

Microsoft

Search Engine Crawler

3

DataDog Synthetic Bot

DataDog

Monitoring & Analytics

4

AhrefsBot

Ahrefs

Search Engine Optimization

5

Qualys

Qualys

Search Engine Crawler

6

YandexBot

Yandex

Search Engine Crawler

7

PetalBot

Huawei

Search Engine Crawler

8

Google AdsBot

Google

SAdvertising & Marketing

9

Google Image Proxy

Google

Page Preview

10

Google Images

Google

Search Engine Crawler

Bots gepositioneerd op het aantal requests. Data verstrekt in april 2023

Vragen? Wij hebben antwoorden

  • Respecteert AhrefsBot robots.txt-files?

    Ja. Absoluut.We respecteren je robots.txt volledig voor zowel disallow- als allow-regels.

  • Hoe beheer ik AhrefsBot op mijn website?

    Omdat AhrefsBot het robots.txt-bestand op jouw website volledig respecteert, heb jij alle controle over wat deze doet.Specificeer gewoon de minimale acceptabele delay tussen twee opeenvolgende requests in je robots.txt-bestand om de frequentie waarmee AhrefsBot jouw site bezoekt aan te passen:
    User-agent: AhrefsBotCrawl-Delay: [value](Waar Crawl-Delaywaarde tijd in seconden is)
    Als je wilt dat AhrefsBot jouw site niet meer bezoekt, voeg dan deze twee regels toe aan het robots.txt-bestand op je server:
    User-agent: AhrefsBotDisallow: /
    NB: AhrefsBot kan wat tijd nodig hebben om de wijzigingen in je robots.txt-bestand op te pikken. Dit gebeurt voor de volgende ingeplande crawl.En, als je robots.txt fouten bevat, zal AhrefsBot je commands niet herkennen en je website blijven crawlen zoals die dat eerder deed.Lees meer over robots.txt op www.robotstxt.org.Neem contact op met [email protected] als je denkt dat AhrefsBot zich misdraagt op jouw website of wanneer je vragen hebt, dan zullen we je zo goed mogelijk helpen.

Heb je andere vragen?

Als je nog vragen hebt, neem contact met ons op voor hulp.

© 2024 Ahrefs Pte. Ltd. (201227417H) 16 Raffles Quay, #33-03 Hong Leong Building, Singapore 048581