AhrefsSiteAudit 爬虫

了解为 Ahrefs 的网站审核工具提供支持的网络爬虫。

版本	6.1
机器人类型	好（表明自己，有一个正式的绰号）
类别	搜索引擎优化
服从 robots.txt	默认情况下是（网站所有者可以要求在其网站上不遵守 robots.txt）
服从抓取延迟	默认情况下是（网站所有者可以要求遵守其网站上的抓取延迟）
桌面用户代理字符串	Mozilla/5.0（兼容；AhrefsSiteAudit/6.1；+http://ahrefs.com/robot/site-audit）
移动用户代理字符串	Mozilla/5.0（Linux；Android 13）AppleWebKit/537.36（KHTML，如 Gecko）Chrome/108.0.5359.128 Mobile Safari/537.36（兼容；AhrefsSiteAudit/6.1；+http://ahrefs.com/robot/site-audit）
反向 DNS 后缀	ahrefs.com
IP地址范围	当前列表、API 文档

什么是 Ahrefs网站诊断爬虫？

AhrefsSiteAudit 是一种网络抓取工具，为 Ahrefs 的网站诊断工具提供支持。 Ahrefs 用户可以使用网站诊断来分析网站并发现技术 SEO 和页面 SEO 问题。

该机器人可以抓取任何网站，除非被禁止，并通过默认将抓取限制为每 2 秒 1 个请求来防止网站服务器负载过大。如果您是网站所有者，则可以以更高的速度抓取自己的网站，并允许 AhrefsSiteAudit 抓取工具忽略 robots.txt。为此，您需要在站点诊断工具中验证所有权。

AhrefsSiteAudit 机器人在我的网站上做什么？
如果您在服务器日志中看到 AhrefsSiteAudit，这意味着有人使用 Ahrefs 的网站审核工具对您的网站进行了分析。该机器人抓取网站并跟踪其内部链接从一个 URL 到另一个 URL。它还检查网站资源，如 CSS 文件、JS 文件和图像。AhrefsSiteAudit 爬虫不会将数字添加到您的 Google Analytics 流量中。
它是否遵循 robots.txt 文件？
是的。默认情况下。只有经过验证的所有者才能允许 AhrefsSiteAudit 爬虫在他们的网站上违反 robots.txt。
如何控制我网站上的 AhrefsSiteAudit 爬虫？
由于 AhrefsSiteAudit 机器人严格遵循您网站上的 robots.txt 文件，因此您可以完全控制它的行为。如果您想阻止 AhrefsSiteAudit 访问您的站点，请将这两行添加到您服务器上的 robots.txt 文件中：
用户代理：AhrefsSiteAudit不允许： /
您还可以使用 robots.txt 文件允许或禁止抓取您网站的任何部分。在 www.robotstxt.org 阅读有关 robots.txt 的更多信息。Ahrefs网站诊断机器人会在每次新的抓取之前检查您的 robots.txt 文件。如果您的 robots.txt 包含错误，AhrefsSiteAudit 机器人将无法识别您的命令，它会继续像以前一样抓取您的网站。如果您认为 AhrefsSiteAudit 机器人在您的网站上行为不当或有任何疑问，请联系 [email protected]，我们会尽力提供帮助。

如果您还有其他疑问，请
联系我们以便我们提供帮助。