按照这个五步程序来诊断和解决这个问题。
如果你只看到几个页面有 “已发现 — 尚未编入索引 “的问题，试着通过 Google Search Console（GSC）要求索引。要执行该项目，只要点选单上的 “检查网页网址”，并输入页面 URL。如果它目前没有被索引，点击 “请求编入索引 “按钮。
如果一切顺利，你应该会看到一条消息，告诉你该 URL 被添加到优先抓取队列中。
如果这不起作用，几乎可以肯定的是一定有一个潜在的问题，你需要在第二次请求索引之前进行诊断和修复，所以请继续阅读。
抓取预算是指搜索引擎要在你的网站上抓取多快和多少页，如果可抓取 URL 超过你的抓取预算，可能会看到 “已发现 — 尚未编入索引“的警告。
据谷歌的 Gary Illyes 说，90% 的网站不需要担心这个问题。然而，尽管抓取预算的问题往往影响较大的网站，但具体的技术设置、问题和错误会容易导致较小的网站出现问题。
让我们来看看几件可能导致爬行预算问题的事，以及如何改善它们。
你是否从子域提供内容？
假设你的主网站在 example.com 上，但在一个子域上也有数字资产，像是 cdn.example.com。在这种情况下，子域可被视为你主网站的一部分，并在抓取预算中被归为一组。
考虑从 CDN URL 提供另外的数字资产以解决该爬取预算的问题。
你是否有不必要的重定向？
通常情况下，当我们决定从网站上删除一个页面时，我们会添加一个重定向到另一个相关页面。然而这并非是必要的，除非该页面有反向链接或流量，否则最好是删除或替换被删除页面的内部链接，并返回404。
以下是解释这一过程的流程图：
你可以通过 Ahrefs 站长工具（AWT）账户免费找到内部和外部链接的重定向 URL，以下是该过程：
- 用 Ahrefs 的网站诊断抓取你的网站
- 前往最新的抓取结果
- 前往重定向报告
- 点击内部 URL 重定向的数量
- 添加 “所有内链的数量 (No. of all inlinks)“和“引用域的数量 (No. of referring domains) “两栏
你有重复内容吗？
重复内容是指你在多个 URL 上有接近或完全相同的页面可供访问，举例来说：
- 同样的页面可以在网站的 www 和非 www 版本，以及 HTTPS 和 HTTP 上访问。
- 开发或暂存的案例。
- 带有模板内容的空产品或类别页面。
解决重复内容问题的方式取决于你的情况。
了解更多：重复内容：为什么会发生以及如何解决该问题
Have you used internal nofollow links?
Nofollow 链接不会阻止页面被索引，然而，在内部使用它们会告诉搜索引擎这个页面并不重要。
下面是如何使用 AWT 免费查找有 nofollow 内部链接的页面：
- 用网站诊断抓取你的网站
- 前往链接报告
- 点击 “问题(Issue) “页签
- 寻找 “页面仅有 nofollow 传入的内部链接 (Page has nofollow incoming internal links only)“和 “页面有 nofollow 和 dofollow 传入的内部链接 (Page has nofollow and dofollow incoming internal links)“的警告和通知
如果该页面很重要，就用 followe 链接取代 nofollow 链接。
你有孤岛页面吗？
如果发现你新页面的唯一途径是来自网站地图，而且它没有内部链接，谷歌可能会认为它不重要。
我将在下面谈及内部链接时更详细地讨论该问题。
谷歌并不会对发现的所有内容进行索引，它会优先考虑高质量、独特和引人注目的内容。由于谷歌还没有抓取有此警告的网页，它不知道该内容是否是为低质量的。但是它可能根据已经抓取过的类似网页作为参考，这就是为什么它可能会 “取消了 “抓取的优先次序。
以下是谷歌不太可能索引的几类内容：
- 机器翻译的内容 - 如果你使用谷歌的翻译 API 或类似的内容进行本地化，那么翻译将差强人意。在这种情况下，它对搜索者不是特别有用。
- 拼凑的内容 - 就是你透过软件来重写内容，其结果几乎总是低质量的、抄袭的内容。
- 人工智能生成的内容 - 人工智能写作工具越来越受欢迎，但它们很少在没有人类参与的情况下创造有用的内容。
- 稀薄内容 — 这些是没有多少独特内容的页面。
如果这些情况适用于你的内容，使用下面的流程图来解决这个问题：
简而言之，如果你有单薄的内容，将其与其他单薄的内容合并，以创造出有用的内容，不然就是要删除它。否则就改进内容，如果所产生的内容不是为了自然搜索而做的，就不要索引它，这样搜索引擎可以优先抓取更重要的页面。
内部链接是指从你网站的一个页面到另一个页面的链接，谷歌通常会认为内部链接数量很少的页面 URL 是不重要的，可能不会对其进行索引。你可以用 AWT 免费检查 URL 是否有内部链接，以下是操作方式：
- 用网站诊断抓取你的网站
- 进入 “页面分析 (Page Explorer) “工具
- 筛选 “内容 “下的 “所有页面”
- 添加一列 “所有内链的数量 (No. of all inlinks) ”
如果你在设置项目时选择了反向链接和(或)网站地图作为 URL 来源，你也可以找到一些孤岛页面。只要进入链接报告，点击 “问题 (Issue) “页签，并寻找 “孤岛页面（没有内部链接链结至该页面）“的错误。
你也可以使用 Ahrefs 来寻找两个现有页面之间的内部链接机会，以下是操作方法：
- 转到网站诊断中的内链建议 (link opportunities)报告
- 输入一个与你想添加内部链接的页面相关的关键词
- 选择 “关键词 “作为搜索模式
举例来说，假设 Ahrefs 写了一篇关于关键词研究的文章，输入 “关键词研究 “可以找到你的网站上提到该关键词的页面，并向你显示其背景。然后，你可以在相关的内文上下放入链接。
另外，当你发布一个新的页面时，你可以使用页面分析 (Page Explorer)在页面文本中进行搜索，以找到潜在的页面进行链接。
然而，这些策略都不能取代一个内部链接有条理的良好网站结构，这是每一个网站都应该优先考虑的事情。然而，如果你遇到一些问题，一种方法是 “黑客 ” 你的抓取深度，并确保你所有的内部页面都从 HTML 网站地图中链接。
HTML 网站地图是一个 HTML 页面，它可以让用户更好地了解你的网站结构，并以更简单的方式进行导航。与 XML 网站地图不同的是，HTML 网站地图是为了被不同的系统解析而制作的。虽然它们有时被认为是过去的事情，但它们仍然是相关的。
如果你有一个大的网站，你可能要考虑把它分割成一个合理的结构，因为你不希望从一个页面链接到数以万计的 URL，看看 LinkedIn 是如何做的以获得灵感。
反向链接是谷歌用来决定一个页面是否有价值和值得抓取的信号之一，如果你的网页没有或很少有高质量的反向链接，这可能是谷歌 “不优先 “抓取的原因之一。
获得更多的反向链接可能是所有清单中最难的，但它确实有回报。即使是一个有价值的链接也能帮助谷歌发现你的内容，并更快地将其编入索引。
你可以通过 AWT 免费查看你网站上的任何页面有多少反向链接。
如果你想检查一个特定的页面，把它粘贴到 Ahrefs 的 “网站分析(Site Explorer)”，然后检查 “概览 (Overview)“报告。
如果你想看看哪些页面有没有很多反向链接，在网站分析 (Site Explorer)中输入你的域名，并检查按反链数量排序 (Best by links)报告。
如果一个重要的页面很少或没有反向链接，考虑尝试建立更多的反向链接。
继续学习
译者，李元魁，SEO 分解茶博客创始人
