谷歌约翰Mueller 最近解释了如何确定被 robots.txt 阻止的页面的查询相关性。
据说 Google 仍会索引被 robots.txt 阻止的页面。但是谷歌如何知道要对这些页面进行哪些类型的查询排名呢？
这是在昨天的 Google 网站管理员中央环聊中提出的问题：
“这些天每个人都在谈论用户意图。如果一个页面被机器人阻止。txt 是被屏蔽，并且正在排名，谷歌如何确定与网页内容相关的查询的相关性？
在回应中，穆勒表示，如果内容被屏蔽，谷歌显然无法查看content。
所以 Google 所做的是找到其他方法来比较 URL 与其他 URL，这在被 robots.txt 阻止时肯定更难。
在大多数情况下，Google 会优先考虑将网站上更容易访问且不会被抓取的其他页面编入索引。
有时，如果 Google 认为被 robots.txt 阻止的页面有价值，它们将出现在搜索结果中这是由链接决定的指向页面。
那么 Google 如何确定如何对被阻止的页面进行排名？答案归结为链接。
最终，使用它不是 wi如果您的内容被 robots.txt 屏蔽，希望 Google 知道如何处理它。
但是，如果您的内容碰巧被 robots.txt 屏蔽，Google 会尽力找出解决方法给它排名。
你可以在下面的 21:49 处听到完整的答案：
“如果它被 robots.txt 屏蔽了，那么显然我们无法查看内容。因此，我们不得不即兴发挥并找到方法将该 URL 与其他试图为这些查询排名的 URL 进行比较，这要困难得多。
因为它更难，所以如果您有非常好的内容可以抓取和索引，那么通常我们会尝试使用它而不是随机机器人页面。
所以，从这个角度来看，它并不是那么微不足道。我们有时会在搜索结果中显示机器人页面，因为我们已经看到它们运行得非常好。例如，当人们链接到他们时，我们可以估计它可能是值得的，所有这些事情。
因此，作为网站所有者，我不建议使用 robots.txt 阻止您的内容，希望它能正常工作。但是，如果您的内容确实被 robots.txt 屏蔽，我们仍会尝试以某种方式在搜索结果中显示它。 "
