如果您想知道如何优化您的 WordPress robots.txt 文件以获得更好的 SEO，那么您来对地方了。
什么是 WordPress robots.txt 文件，我应该担心它吗？
robots.txt 文件是您网站上的一个文件，可让您拒绝搜索引擎访问某些文件和文件夹。您可以使用它来阻止 Google（和其他搜索引擎）的漫游器抓取您网站上的某些页面。这是一个示例文件：
那么，拒绝访问搜索引擎如何真正改善您的 SEO？似乎违反直觉...
它的工作原理如下：您网站上的页面越多，Google 必须抓取的页面就越多。
比如你的博客有很多分类和标签页面，这些页面质量低，不需要搜索引擎抓取；在任何给定时间将在您的网站上抓取的已分配页面数）。
抓取预算很重要，因为它决定了 Google 了解您网站变化的速度，进而决定了您排名的速度。它对电子商务 SEO 特别有用！
请注意正确执行此操作，因为如果操作不当，可能会损害您的 SEO。有关如何正确索引正确页面的详细信息，请参阅 DeepCrawl 的指南。
那么，您需要弄乱您的 WordPress robots.txt 文件吗？
如果您在较大的站点中处于竞争激烈的利基市场，那么也许。但是，如果您刚刚开始您的第一个博客，那么建立指向您的内容的链接并创建大量高质量的文章是更为重要的任务。
如何优化您的 WordPress robots.txt 文件以获得更好的 SEO
现在，让我们讨论如何实际到达（或创建）并优化您的 WordPress robots.txt 文件。
Robots.txt 通常位于您网站的根文件夹中。您将需要使用 FTP 客户端或使用 cPanel 的文件管理器连接到您的站点以查看它。它只是一个可以用记事本打开的普通文本文件。
如果您网站的根目录中还没有 robots.txt 文件，您可以创建一个。您所需要做的就是在您的计算机上创建一个新的文本文件并将其另存为 robots.txt。然后，只需将其上传到您网站的根文件夹即可。
理想的 robots.txt 文件应该是什么样的？
robots.txt 文件的格式非常简单。第一行通常命名一个用户代理。用户代理是您要与之通信的搜索机器人的名称。例如，Googlebot 或 Bingbot。您可以用星号 * 指示所有机器人。
下一行之后是搜索引擎的“允许”或“阻止”指令，因此它们知道您希望索引的哪些部分以及您不想索引的部分。
这里是一个例子：
User-Agent: *
Allow: /? display=wide
允许：/wp-content/uploads/
禁止：/readme.html
禁止：/refer/
站点地图：http://www . codeinwp.com/post-sitemap.xml
网站地图：http://www.codeinwp.com/page-sitemap.xml
网站地图：http://www.codeinwp.com/deals-sitemap。 xml
站点地图：http://www.codeinwp.com/hosting-sitemap.xml
请注意，如果您使用的是 Yoast 或多合一 SEO 插件，您可能不需要添加站点地图部分，因为他们会尝试自动添加它。如果做不到这一点，您可以像上面的示例一样手动添加它。
我应该阻止或阻止索引什么？
在 Google 网站管理员指南中，他们建议网站管理员不要使用自己的 robots.txt 文件来隐藏低质量的内容。因此，使用 robots.txt 文件来阻止 Google 索引您的类别、日期和其他存档页面可能不是一个明智的选择。
请记住，robots.txt 的目的是指示机器人如何处理它们在您网站上抓取的内容。这不会阻止他们抓取您的网站。
此外，您不需要将 WordPress 登录页面、管理目录或注册页面添加到您的 robots.txt，因为登录和注册页面没有由 WordPress 自动添加的索引标签。
但是，我建议您不要在 robots.txt 文件中使用 readme.html 文件。试图弄清楚您使用的是哪个版本的 WordPress 的人可以使用此自述文件。如果是这样，他们只需浏览即可轻松访问文件。此外，放置禁止标签可以阻止恶意攻击。
如何将 WordPress robots.txt 文件提交给 Google？
更新或创建 robots.txt 文件后，您可以使用 Google Search Console 将其提交给 Google。
不过，我建议您先使用 Google 的 robots.txt 测试工具进行测试。
如果你在这里 如果您没有看到创建的版本，您必须将创建的 robots.txt 文件重新上传到您的 WordPress 站点。你可以用 Yoast SEO 做到这一点。
结论
您现在知道如何优化您的 WordPress robots.txt 文件以获得更好的 SEO。
通过 robots.txt 对您的网站进行任何重大更改时请务必小心。虽然这些更改可以提高您的搜索量，但如果您不小心，它们也可能弊大于利。
如果您渴望了解更多信息，请查看我们对 WordPress 终极指南的总结！
