Ontdek de webcrawler die Ahrefs Site Audit-tool aandrijft.
| Versie | 6.1 |
|---|---|
| Bot-type | Goed (identificeert zichzelf, heeft een officiële naam) |
| Categorie | SEO |
| Respecteert robots.txt | Ja, standaard (website-eigenaren kunnen vragen om robots.txt op hun sites te negeren) |
| Respecteert crawlvertraging | Ja, standaard (website-eigenaren kunnen vragen om crawlvertraging op hun sites te negeren) |
| Desktop user-agent string | Mozilla/5.0 (compatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| Mobiele user-agent string | Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, zoals Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| Reverse DNS-suffix | ahrefs.com or ahrefs.net |
| Bereik IP-adressen |
AhrefsSiteAudit is een webcrawler die Ahrefs' Site Audit-tool aandrijft, een tool die websites analyseert en technische en on-page SEO-problemen vindt.
Deze bot kan iedere website crawlen, tenzij dat niet is toegestaan, en voorkomt overmatige belasting van websiteservers door het crawlen standaard te beperken tot 1 request per 2 seconden. Als je een website-eigenaar bent, kan je je eigen websites sneller crawlen en AhrefsSiteAudit ook toestaan om robots.txt te negeren. Daarvoor moet je eigenaarschap verifiëren in de Site Audit-tool.
Wat doet AhrefsSiteAudit-bot op mijn website?
Respecteert het het robots.txt-bestand?
Hoe beheer ik AhrefsSiteAudit-crawler op mijn website?
Als je nog vragen hebt,
contact voor hulp.