AhrefsBots
På Ahrefs har vi två primära sökrobotar—AhrefsBot och AhrefsSiteAudit—som stödjer vår verktygssvit och våra tjänster. Målet med vår genomsökning är att hjälpa webbplatsägare att förbättra sin närvaro online och samtidigt minimera belastningen på deras servrar och säkerställa ett säkert och transparent genomsökningsbeteende.
Our bots
AhrefsBot
- User-agent token in robots.txt:
AhrefsBot Obeys robots.txt: Yes
Obeys crawl delay: Yes
AhrefsSiteAudit
- User-agent token in robots.txt:
AhrefsSiteAudit Obeys robots.txt: Yes by default (website owners can request to disobey robots.txt on their sites)
Obeys crawl delay: Yes by default (website owners can request to disobey crawl delay on their sites)
Cloudflare-verifierad
Både AhrefsBot och AhrefsSiteAudit är erkända som verifierade "goda" sökrobotar av Cloudflare, ett ledande webbskydds- och prestandaföretag.
Verification and IP lists
IP-adresser
Vi genomsöker webbplatser från offentligt publicerade IP-intervall. Du kan hämta våra IP-adresser som IP-intervall eller individuella IP-adresser. Du hittar information om hur man vitlistar våra IP-adresser i hjälpartikeln.
Omvänd DNS
Det omvända DNS-suffixet hos IP-adressens värdnamn är alltid ahrefs.com eller ahrefs.net.
Webbplatsstatus
Du kan kontrollera din webbplats status som den ses av våra sökrobotar och om den kan genomsökas av dem:
Benefits for site owners
AhrefsBot indexerar färsk, exakt information om webbplatser och deras innehåll samt hur de länkar till varandra. Denna data är otroligt användbar och kan utnyttjas på många sätt:
- AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
- AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
- AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges
Policies and commitments
Följer Robots.txt
Båda sökrobotarna respekterar robots.txt och både disallow- och allow-regler samt crawl-delay-direktiv. Endast verifierade webbplatsägare kan tillåta AhrefsSiteAudit-sökroboten att ignorera robots.txt på deras webbplatser för att söka efter problem på delar av webbplatsen som normalt inte tillåts att genomsökas.
Crawl-delay följs strikt vid begäran av HTML-sidor vilket säkerställer att vi inte överskrider specifika gränsvärden. Den kan dock inte följas vid rendering av JavaScript. När våra sökrobotar renderar en sida kan de begära flera tillgångar (t.ex. bilder, skript, stilmallar) samtidigt vilket kan resultera i fler begäranden i serverloggar än vad crawl-delay tillåter. Detta beteende efterliknar en riktig användares upplevelse eftersom moderna webbsidor ofta kräver att flera resurser laddas samtidigt för korrekt rendering och funktion.
Cachelagring av tillgångar
Under genomsökningar cachelagrar vi ofta begärda filer (bilder, CSS, JS) för att minimera upprepade hämtningar vilket minskar bandbreddsförbrukningen och serverbelastningen.
Lasthantering
Om vi stöter på icke-200-statuskoder (särskilt 4xx eller 5xx) minskar vi automatiskt vår genomsökningshastighet för webbplatsen. Detta säkerställer minimal belastning på webbplatser som kan uppleva driftstopp eller hög serverbelastning.
Transparenta metoder
Vi förstår att hosting-leverantörer, CDN:er och CMS-plattformar kan vilja hantera hur sökrobotar interagerar med deras kunders webbplatser. Våra offentligt tillgängliga IP-adresser och user-agent-strängar låter dig eller dina tjänsteleverantörer snabbt verifiera legitim Ahrefs-trafik. Vi är engagerade i att vara transparenta om våra sökaktiviteter för att främja förtroende och samarbete. Om du har några frågor kan du kontakta oss på [email protected] så gör vi vårt bästa för att hjälpa dig.
Controlling bots behavior
Vi tillhandahåller tydliga, användarvänliga alternativ för kontroll av våra sökrobotar:
Via Robots.txt
För att ändra frekvensen med vilken AhrefsBot eller AhrefsSiteAudit besöker din webbplats anger du den minsta acceptabla fördröjningen mellan två på varandra följande begäranden i din robots.txt-fil:
(Där Crawl-Delay-värdet är tid i sekunder.)
Om du vill stoppa AhrefsBot eller AhrefsSiteAudit från att besöka din webbplats eller en del av den använder du Disallow-direktivet:
Observera att AhrefsBot kan behöva lite tid för att uppfatta ändringarna i din robots.txt-fil. Detta görs innan nästa schemalagda genomsökning. Verifierade webbplatsägare kan tillåta AhrefsSiteAudit-sökroboten att ignorera robots.txt på deras webbplatser för att kontrollera problem i delar av webbplatsen som normalt inte tillåts att genomsökas.
Om din robots.txt innehåller fel kommer inte våra sökrobotar att kunna känna igen dina kommandon och kommer att fortsätta söka igenom din webbplats på samma sätt som förut. Läs mer om robots.txt på www.robotstxt.org.
Returnerar icke-200-statuskoder för att minska genomsökningshastigheten
Du kan tillfälligt minska genomsökningshastigheten hos AhrefsBot. Detta kan vara användbart vid avbrott eller infrastrukturella förändringar när belastningen på webbplatsen behöver minskas. Genomsökningshastigheten kan tillfälligt minskas genom att returnera 4xx eller 5xx HTTP-statuskoder under avbrottet eller underhållsfönstret. Vår sökrobot kommer att upptäcka dessa fel och dra sig tillbaka automatiskt.
Justering av hastighetsinställningar i Site Audit
AhrefsSiteAudit-sökrobot förhindrar överdriven belastning på webbservrar genom att begränsa genomsökningen till max 30 URL-adresser per minut. Om du är webbplatsägare kan du genomsöka dina egna webbplatser med högre hastighet om du vill få reda på eventuella problem snabbare. För att göra detta behöver du verifiera ditt ägande i Site Audit-verktyget.
Kontakta oss
Om du har problem med hur ofta vi genomsöker eller om du ser misstänkt trafik som du vill bekräfta, kontakta oss på [email protected]. Vi finns här för att hjälpa till att klargöra och lösa eventuella problem.