Ahrefs 机器人

IP 地址

我们从公开发布的IP范围抓取。您可以获取我们的IP地址为IP范围或单个IP。可以在帮助文章中找到如何将我们的IP加入白名单的信息。

反向 DNS

IP 的主机名的反向 DNS 后缀始终是 ahrefs.com 或 ahrefs.net。

网站状态

您可以查看您的网站在我们的机器人视野中的状态，以及它是否可以被它们抓取：

AhrefsBot索引网站及其内容的最新、准确信息，并解析它们的相互链接。这些数据非常有用，可以通过多种方式加以利用：

• AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
• AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
• AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges

服从 robots.txt

两个机器人严格遵循 robots.txt 上的 disallow 和 allow 规则，以及 crawl-delay 指令。只有经过验证的网站所有者才能允许 AhrefsSiteAudit 爬虫在他们的网站上无视 robots.txt，以便他们可以检查通常不允许爬行的站点部分的问题。

在请求 HTML 页面时严格遵循抓取延迟，确保我们不会超过指定的速率限制。但是，在渲染 JavaScript 时无法遵循。当我们的机器人渲染页面时，他们可能会同时请求多个资源（如图片、脚本、样式表），这可能会导致服务器日志中出现的请求频率高于抓取延迟设置的允许频率。 这种行为模仿了真实用户的体验，因为现代网页通常需要一次加载多个资源才能正确渲染和正常工作。

缓存资产

在抓取过程中，我们缓存经常请求的文件（图像、CSS、JS）以减少重复获取，从而降低带宽消耗和服务器负载。

负载管理

如果我们遇到非200状态代码，尤其是4xx或5xx错误，我们会自动降低该站点的抓取速度。这确保在网站可能遇到故障或高服务器负载时减少压力。

透明的做法

我们了解托管服务提供商、CDN 和 CMS 平台可能希望管理机器人如何与其客户的网站交互。我们公开提供的 IP 地址和用户代理字符串可让您或您的服务提供商快速验证合法的 Ahrefs 流量。我们致力于保持我们爬取活动的透明，以促进信任与合作。如果您有任何疑虑，请联系 [email protected] 我们将尽力提供帮助。