Ahrefs 为搜索营销专业人士收集、处理和存储大量数据。
与搜索引擎类似,我们全天候 24/7 抓取整个网络并存储 PB 级 (1PB = 1000TB) 的实时网站信息 – 例如它们如何相互链接以及它们在搜索结果中排名的关键字。
我们也为我们的后端基础设施感到非常自豪。 由于现有解决方案无法跟上我们操作的数据量,因此我们的大部分软件基础架构都是内部构建的。
3400
服务器
618
K
中央处理器核心
4
PB
内存
33
PB
HDD
404
PB
固态硬盘
900美金
百万
如果没有我们自己的基础设施,我们三年内必须在云上花费的金额。
AhrefsBot 是 Cloudflare Radar 上“搜索引擎优化”类别中最活跃的网络抓取工具。 它也是世界上第三活跃的网络爬虫。
每一分钟,我们都在爬行
有
5
M
170
T
页面
我们的键值数据库中的行
Rank | Bot | Owner | Category |
---|---|---|---|
1 | GoogleBot | Search Engine Crawler | |
2 | BingBot | Microsoft | Search Engine Crawler |
3 | DataDog Synthetic Bot | DataDog | Monitoring & Analytics |
4 | AhrefsBot | Ahrefs | Search Engine Optimization |
5 | Qualys | Qualys | Search Engine Crawler |
6 | YandexBot | Yandex | Search Engine Crawler |
7 | PetalBot | Huawei | Search Engine Crawler |
8 | Google AdsBot | SAdvertising & Marketing | |
9 | Google Image Proxy | Page Preview | |
10 | Google Images | Search Engine Crawler |
机器人按请求数量排名。 截至 2023 年 4 月提供的数据
我们的内容索引为 Content Explorer 提供支持,它基本上是一个内容搜索引擎。
每隔 24 小时,我们就会发现
10
M
新页面
我们每 24 小时更新一次指标
300
M
页面
总内容索引大小
14.0十亿
页面
这为我们的关键词研究工具 Keywords Explorer 提供了支持,用于查找您的潜在客户在线搜索的内容。
216
地点
关键字索引总大小
20.4十亿
关键词
我们的搜索查询数据库以及它们发送到排名靠前的页面的搜索流量。 它为 Site Explorer 中的搜索流量估算提供支持。
189
地点
651
M
关键词
世界上最大的实时外链索引,每 15-30 分钟更新一次新数据。 该索引为 Site Explorer 中的外链数据提供支持,并用于计算我们的专有指标:Ahrefs 排名、域名评级和 URL 评级。
外链历史
35.0T
记录
索引中的页面
350.2
B
域名(审查后)
210
M
内部反向链接
24.2
T