Google 的 John Mueller 最近就如何防止 robots.txt 和 Sitemap 文件在搜索结果中编制索引提出了一些建议。
来自 Google 的 Gary Illyes 的推文暗示了这一点，随机指出 robots.txt 在技术上可以像任何其他 URL 一样被索引。它为抓取提供了特殊的指导，但没有什么能阻止它被索引。
这是来自 Illyes 的完整推文：
“由内部问题触发：robots.txt 只能从索引角度 url 对其内容进行索引。就像任何其他内容一样URL，可以规范化，也可以去重。
它只是对抓取有特殊意义，而那里的索引状态根本无关紧要。”
回应他的 Google 同事 Mueller 说 x-robots-tag HTTP 标头可用于阻止对 robots.txt 或站点地图文件的索引。不过，这并不是他要说的全部，因为这可以说是关键：
“另外，如果你的机器人。) 通常表明你的网站真的很糟糕，应该改进。”
因此，如果您的 robots.txt 文件在搜索结果中的排名有问题，那么使用 x-robots-tag HTTP 标头阻止它是一个很好的短期解决方案。但如果发生这种情况，从长远来看，可能会有更大的问题需要解决，正如穆勒所建议的那样。
