Ahrefs蜘蛛

了解为 Ahrefs 提供支持的网络爬虫。

版本
7.0
机器人类型
好(表明自己,有一个正式的绰号)
类别
营销
服从 robots.txt
是的
服从抓取延迟
是的
用户代理字符串
Mozilla/5.0(兼容;AhrefsBot/7.0;+http://ahrefs.com/robot/)
反向 DNS 后缀
ahrefs.com
IP地址范围

网站状态

查看您网站的状态,是否可以被抓取

什么是 AhrefsBot?

AhrefsBot is a web crawler that powers the database for both Ahrefs, an online data toolset, and Yep, a revenue-sharing web search engine. It’s the third most active crawler after Google’s and Bing's, visiting over 8 billion web pages every 24 hours and updating its index every 15–30 minutes.

我们的机器人索引有关网站及其内容的最新、准确的信息,以及它们如何相互链接。 这些数据非常有用,可以通过多种方式加以利用:

  • 使用 Yep 进行搜索以查找高质量的内容和您需要的所有信息,同时支持替代搜索引擎,旨在将钱放在您最喜欢的内容创建者的口袋里。

  • 如果您是网站所有者,请使用 Ahrefs 分析您网站的结构、内容和反向链接以深入了解其性能——然后对其进行优化以改善用户体验、在搜索引擎中排名更高并获得更多流量。

  • 在网络规模研究方面,Ahrefs 可以让您深入了解网站或特定主题的受欢迎程度如何随时间变化、哪些网站链接到哪些类型的内容、某个品牌最近被提及了多少次等等 在。

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

BingBot

Microsoft

Search Engine Crawler

3

DataDog Synthetic Bot

DataDog

Monitoring & Analytics

4

AhrefsBot

Ahrefs

Search Engine Optimization

5

Qualys

Qualys

Search Engine Crawler

6

YandexBot

Yandex

Search Engine Crawler

7

PetalBot

Huawei

Search Engine Crawler

8

Google AdsBot

Google

SAdvertising & Marketing

9

Google Image Proxy

Google

Page Preview

10

Google Images

Google

Search Engine Crawler

机器人按请求数量排名。 截至 2023 年 4 月提供的数据

问题? 我们有答案

  • AhrefsBot 是否尊重 robots.txt 文件?

    是的。 绝对地。我们严格遵守 robots.txt 的禁止和允许规则。

  • 我如何在我的网站上控制 AhrefsBot?

    由于 AhrefsBot 严格遵循您网站上的 robots.txt 文件,因此您可以完全控制它的功能。要更改 AhrefsBot 访问您网站的频率,只需在您的 robots.txt 文件中指定两个连续请求之间的最小可接受延迟:
    用户代理:AhrefsBot抓取延迟:[值](其中 Crawl-Delay 值是以秒为单位的时间。)
    如果您想阻止 AhrefsBot 访问您的站点,请将这两行添加到您服务器上的 robots.txt 文件中:
    用户代理:AhrefsBot不允许: /
    请注意,AhrefsBot 可能需要一些时间来获取您的 robots.txt 文件中的更改。 这是在下一次计划的爬网之前完成的。此外,如果您的 robots.txt 包含错误,AhrefsBot 将无法识别您的命令,它会继续像以前一样抓取您的网站www.robotstxt.org 阅读有关 robots.txt 的更多信息。如果您认为 AhrefsBot 在您的网站上行为不当或有任何疑问,请联系 [email protected],我们会尽力提供帮助

还有其他问题吗?

如果您还有其他疑问,请
联系我们以便我们提供帮助。

© 2024 Ahrefs Pte. Ltd. (201227417H) 16 Raffles Quay, #33-03 Hong Leong Building, Singapore 048581