Joost de Valk
Joost de Valk 是 Yoast 的创始人兼首席产品官。他是一名互联网企业家，自创立 Yoast 以来投资并指导过多家初创公司。他的主要专长是开源软件开发和数字营销。
我们之前说过，但我们要重复：我们很惊讶有人仍然只使用 robots.txt 文件来防止他们的站点被 Google 或 Bing 编入索引。结果，他们的网站仍然出现在搜索引擎中。你知道为什么它让我们吃惊吗？因为 robots.txt 实际上并没有执行后者，即使它确实阻止了站点被编入索引。让我在这篇文章中解释它是如何工作的。
有关 robots.txt 的更多信息，请阅读 robots.txt：终极指南。或者，查找在 WordPress 中处理 robots.txt 的最佳实践。
在 Google 中被索引和被列出是有区别的
在我们继续之前，我们需要先了解一些术语：
- < li> Indexing / Indexing
- 排名/列表/显示
在搜索结果页面（又名 SERP）中显示网站。
将站点或页面的内容下载到搜索引擎的服务器，从而将其添加到其“索引”的过程。
因此，网站不一定要被索引才能被列出，尽管最常见的过程是从索引到列表。如果链接指向一个页面、域或任何地方，Google 就会跟踪该链接。如果域上的 robots.txt 阻止搜索引擎索引该页面，如果可以从其他可能值得研究的变量中收集到该 URL，它仍会在结果中显示该 URL。
在过去，它可能是 DMOZ 或 Yahoo 目录，但我可以想象 Google 使用例如您最近的“我的业务”详细信息或来自这些项目的旧数据。更多网站聚合您的网站，是的。
现在，如果上面的解释没有意义，请观看 2009 年前 Google 员工 Matt Cutts 的视频解释：
如果您有理由阻止站点不被索引，将请求添加到要阻止的特定页面上（如 Matt 所说），这仍然是正确的方法。
但是您需要将此元机器人标记告知 Google。所以如果你想有效地隐藏你的页面不让搜索引擎看到，你需要它们来索引这些页面。即便如此，这似乎也是矛盾的。有两种方法可以做到这一点。
通过添加机器人元标记来阻止您的页面列表
阻止您的页面列表的第一个选项是使用机器人元标记。我们关于机器人元标记的终极指南要广泛得多，但它基本上归结为将此标记添加到您的页面：
如果您使用 Yoast SEO，那将非常简单！无需自己添加代码。在此处了解如何使用 Yoast SEO 添加 noindex 标签。
这样的标签的问题是您必须将它添加到每个页面。
Yoast SEO 中简化的机器人元标签管理
为了更轻松地向网站的每个页面添加元机器人标签，搜索引擎提出了 X-Robots-Tag HTTP 标头。这样，您可以指定一个名为 X-Robots-Tag 的 HTTP 标头，并将值设置为元机器人标签的值。这很酷的一点是您可以在整个站点上执行此操作。如果您的站点在 Apache 上运行，并且启用了 mod_headers（通常是启用的），您可以将以下单行添加到您的 .htaccess 文件中：
Header Set X-Robots-Tag" noindex, nofollow "
这样做的结果是整个站点都可以被索引。但它从未出现在搜索结果中。
因此，使用 Disallow:/ 删除该 robots.txt 文件。请改用 X-Robots-Tag 或这个 meta robots 标签！
阅读更多：Meta Robots 标签终极指南 »
来源
