抓取预算是一个经常被忽视的关键 SEO 概念。
这么多的任务和问题，SEO高手一定要记住，经常放回去。
简而言之，可以而且应该优化抓取预算。
在本文中，您将学习：
- 如何在此过程中增加抓取预算。
- 在过去的几年里，这些变化被细化为概念。
什么是 Crawl Budget
所以对于那些思考/担心/汗流浃背的人来说，我们甚至忘记了 Crawl Budget 是什么意思，这里有一个简短的回顾。
抓取预算就是搜索引擎的抓取工具（即蜘蛛和机器人）遍历您域的页面的频率。
此频率被概念化为 Googlebot 尝试不使您的服务器过载与 Google 总体上希望抓取您的域之间的暂时平衡。
抓取预算优化只是您可以专门采取的一系列步骤，以提高搜索引擎机器人访问您网页的速度。
他们访问的越多，入口页面更新索引的速度就越快。
因此，您的优化工作将花费更少的时间来掌握并开始影响您的排名。
这样的措辞，听起来确实是我们每个人每一秒都应该做的最重要的事情，对吧？
嗯，不完全是。
为什么抓取预算优化被忽略了？
要回答这个问题，你只需要看看谷歌的官方博文。
正如谷歌明确解释的那样，抓取本身并不是排名因素。
因此，仅此一项就足以阻止一些 SEO 专业人员甚至不必考虑抓取预算。
对于我们中的许多人来说，“不是排名因素”等同于“不是我的问题”。
我完全不同意。
但即便忘记了这一点，Google 的 Gary Illyes 也有评论。他说得很透彻，对于拥有数百万页面的大型网站，可以肯定地说抓取预算管理是有意义的。
但是，如果您的域规模适中，则不必太担心抓取预算。 （事实上 ，如果您确实有数百万个页面，您应该考虑削减一些内容，这通常对您的域有好处。）
但是，众所周知，SEO 绝不是要改变一个游戏大因素并取得成果。
SEO 是一个非常小的增量变化过程，需要关注许多指标。
在很大程度上，我们的工作是确保尽可能优化成千上万的小东西。
此外，虽然它本身并不是一个主要的抓取因素，但正如 Google 的 John Mueller 所指出的那样，它对转化率和网站的整体健康状况非常有用。
总而言之，我认为确保您网站上的任何内容都不会积极影响您的抓取预算非常重要。
今天如何优化您的抓取预算
仍然有一些事情非常费力，而另一些事情的重要性已经发生了巨大变化，以至于它们根本没有意义。
您仍然需要注意我所说的网站健康状况的“常见嫌疑人”。
1.让您的重要页面在 Robots.Txt 中被抓取
这是轻松自然的第一步，也是最重要的一步。
Robots.txt 可以手动管理或使用站点审核工具。
我更喜欢尽可能使用工具。这是该工具更方便和有效的情况。
只需将 robots.txt 添加到您选择的工具中，您就可以在几秒钟内允许/阻止抓取您域中的任何页面。然后你只需上传你编辑过的文件，瞧！
显然，任何人都可以手工完成。但我从个人经验中知道，在非常大的站点上，可能需要经常进行校准，因此让工具帮助您会容易得多。
2.注意重定向链
这是网站健康的常识性方法。
理想情况下，您将能够避免在整个域中使用一个重定向链。
老实说，对于大型站点来说，这是不可能完成的任务——301 和 302 重定向是必然发生的。
但是，一堆这样的链接肯定会损害您的抓取限制，以至于搜索引擎的抓取器可能会在没有到达需要索引的页面的情况下停止抓取。
这里的一两个重定向，可能不会对您造成太大伤害，但这仍然是每个人都需要注意的事情。
3.尽可能使用 HTML
现在，如果我们谈论 Google，那么必须说它的爬虫爬取和索引 JavaScript，特别是在 Flash 和 XML 编译中也得到了改进。
另一方面，其他搜索引擎还没有。
所以，我个人的看法是尽可能使用HTML。
这样，您就不会失去任何爬虫的机会。
4.不要让 HTTP 错误耗尽您的抓取预算
从技术上讲，404 和 410 页面会耗尽您的抓取预算。
如果这还不够糟糕，它们还会损害您的用户体验！
这就是为什么修复所有 4xx 和 5xx 状态代码确实是双赢的。
同样，我赞成在这种情况下使用站点审核工具。
SE Ranking 和 Screaming Frog 是 SEO 专业人员用来进行网站审核的两个很棒的工具。
5.注意 URL 参数
永远记住，抓取工具会将单独的 URL 视为单独的页面，从而浪费宝贵的抓取预算。
同样，让 Google 了解这些 URL 参数将是一个双赢的局面，既可以节省抓取预算，又可以避免对重复内容的担忧。
因此请务必将它们添加到您的 Google Search Console 帐户中。
6.更新您的站点地图
再次强调，管理您的 XML 站点地图是一个真正的双赢。
机器人将更好、更容易地了解内部链接的位置。
仅使用适用于您的站点地图的网址。
此外，请确保它与您的 robots.txt 的最新上传版本相对应。
7. hreflang 标签至关重要
为了分析您的本地化页面，爬虫使用 hreflang 标签。相反，您应该告诉 Google 尽可能清楚地了解页面的本地化版本。
首先，在页眉中使用 。其中“lang_code”是支持的语言。
您应该为任何给定的 URL 使用
总结
因此，如果您想知道抓取预算优化对您的网站是否仍然重要，答案显然是肯定的。
对于每个 SEO 专业人士来说，抓取预算现在是，过去是，可能将来也是。
希望这些技巧可以帮助您优化抓取预算并提高 SEO 性能。
祝你好运！
图片来源
精选图片：Paulo Bobita
所有截图均由作者提供
