什么是 Googlebot ? 它是如何工作的？

同时，Google 有更多的爬虫用于特定任务，每个爬虫都会有一个特定的称为 “user agent” 的字符串来标识自己。 Googlebot 会永远保持最新，这意味着它可以像用户在最新的 Chrome 浏览器中一样看待网站。

Googlebot 在数千台机器上运行。他们会自行决定在网站上抓取的速度和内容。它们有时会减慢爬行速度，以免网站超负荷。

让我们看看他们构建网络索引的过程。

谷歌过去曾分享过其工作过程的几个版本。下面是最新的。

Google 会从各种来源收集的 URL 列表开始，例如页面、站点地图、RSS 提要以及在 Google Search Console 或索引 API 中提交的 URL。它优先考虑要抓取的内容，获取页面并存储页面的副本。

Google 会处理这些页面，同时会找出更多可抓取的链接，包括指向 Google 呈现页面所需的 API 请求、JavaScript 和 CSS 等内容的链接。所有这些额外的请求都会被抓取和缓存（存储）。谷歌会渲染这些缓存的资源，来查用户真实会看到的页面。

同时 Google 也会重复处理抓取过的页面，并寻页面上的更改、或新增的链接。呈现页面的内容是存储在 Google 索引中并可搜索的内容。找到的任何新的链接都又会被存到 URL 的“存储桶”里以供其抓取。

我们在有关搜索引擎如何工作的文章中提供了有关此过程的更多详细信息。

Google 为您提供了几种方法来控制抓取和编入索引的内容。

如果您不确定应该使用哪个方法，请查看我们关于从 Google 搜索中删除 URL 的流程图。

许多 SEO 工具和一些恶意机器人会伪装成 Googlebot。这可能允许他们访问试图阻止他们的网站。

过去，您需要运行 DNS 查找来验证 Googlebot。但最近，谷歌让它变得更加容易，并提供了一个公共 IP 列表，您可以使用它来验证请求是否来自谷歌。您可以将其与服务器日志中的数据进行比较。

您还可以访问 Google Search Console 中的 “抓取统计信息” 报告。如果您转到 “设置”> “抓取统计信息”，该报告包含大量有关 Google 如何抓取您的网站的信息。您可以查看哪个 Googlebot 正在抓取哪些文件、以及它何时访问的这些文件。

网络是一个大而杂乱的地方。 Googlebot 必须顾及所有不同的设置、包括停机时间和限制、以收集 Google 搜索需要的数据。

还有一个有趣的事实是，Googlebot 通常被称为机器人。它还有一个蜘蛛一样的吉祥物，名叫 “Crawley”。

有问题吗？在 Twitter 上找我吧。

译者，Park Cheng，歪猫出海创始人。