抓取预算是一个经常被忽视的重要SEO概念。
由于 SEO 专家必须记住如此多的任务和帖子，所以它常常被搁置一旁。
简而言之，可以而且应该优化抓取预算。
在本文中，您将学习：
- 如何在此过程中提高抓取预算。
- 在过去几年中，抓取预算作为一个概念发生了变化。
什么是爬网预算
所以对于我们这些已经思考/担心/汗流浃背的人来说，我们甚至忘记了爬网预算意味着什么，这里有一个快速回顾一下。
抓取预算就是搜索引擎抓取工具（即蜘蛛和机器人）抓取您域页面的频率。
此频率被概念化为 Googlebot 尝试不使您的服务器过度拥挤与 Google 抓取您的域的总体愿望之间的临时平衡。
抓取预算优化只是您可以专门采取的一系列步骤，以提高搜索引擎机器人访问您网页的速度。
他们访问的越多，页面被索引的速度就越快。
因此，您的优化工作将花费更少的时间来捕捉并开始影响您的排名。
这样的措辞，听起来确实是我们每一秒都应该做的最重要的事情，对吧？
嗯，不完全是。
为什么抓取预算优化被忽略了？
要回答这个问题，你只需要看看谷歌的这篇官方博文。
正如谷歌明确解释的那样，抓取本身并不是排名因素。
因此，仅此一项就足以阻止一些 SEO 专业人员甚至考虑抓取预算。
对于我们中的许多人来说，“不是排名因素”等同于“不是我的问题”。
我完全不同意这一点。
但即便忘记了这一点，Google 的 Gary Illyes 也有评论。他直言不讳地说，抓取预算管理对于拥有数百万页面的大型网站来说当然是有意义的。
但如果您的域规模适中，则不必太担心抓取预算。 （事实上 ，如果你真的有数百万的页面，你应该考虑削减一些内容，这对你的域名有好处。）
但是，众所周知，SEO根本不是一个改变的游戏一个重要的因素，并取得成果。
SEO 是一个进行小的增量更改的过程，处理数十个指标。
我们的很大一部分工作是确保尽可能优化成千上万的小东西。
此外，虽然它本身并不是一个巨大的抓取因素，但正如 Google 的 John Mueller 指出的那样，它对转化率和整体网站健康状况有好处。
话虽如此，我认为确保您网站上的任何内容都不会影响您的抓取预算很重要。
今天如何优化您的抓取预算
仍然有一些超级繁重的事情，而其他的则在重要性上发生了巨大变化，或者甚至根本不相关。
您还需要了解我所说的网站健康的“常见嫌疑人”。
1. 允许抓取您在 Robots.Txt 中的重要页面
这是一个很自然的第一步，也是最重要的一步。
可以手动或使用站点审核工具管理 robots.txt。
我喜欢尽可能多地使用工具。这是该工具简单、方便且有效的实例之一。
只需将您的 robots.txt 添加到您选择的工具中，您就可以在几秒钟内允许/阻止抓取您域中的任何页面。然后你只需上传你编辑过的文件！
显然，任何人都可以手工完成。但根据我的个人经验，我知道对于可能需要频繁校准的非常大的站点，让该工具帮助您会更容易。
2. 注意重定向链
这是网站健康的常识性方法。
理想情况下，您可以避免在您的域中使用单个重定向链。
老实说，对于一个非常大的网站来说，这是不可能完成的任务——301 和 302 重定向是必然会发生的。
但是，一堆链接在一起，肯定会损害您的抓取限制，以至于搜索引擎抓取工具可能会停止抓取而无法到达您需要索引的页面。
这里有一两个重定向可能不会对您造成太大伤害，但这是每个人都需要好好照顾的事情。
3.尽可能使用HTML
现在，如果我们谈论Google，那么不得不说它的爬虫非常擅长爬JavaScript。特别是，还改进了对 Flash 和 XML 爬网和索引的支持。
另一方面，其他搜索引擎还没有。
因此，我个人的立场是，您应该尽可能坚持使用 HTML。
这样，您就不会伤害爬虫的任何机会。
4. 不要让 HTTP 错误耗尽您的抓取预算
从技术上讲，404 和 410 页面会耗尽您的抓取预算。
如果这还不够糟糕，它们还会损害您的用户体验！
这正是修复所有 4xx 和 5xx 状态代码真正双赢的原因。
在这种情况下，我再次赞成使用网站审核工具。
SE Ranking 和 Screaming Frog 是 SEO 专业人士用来进行网站审核的两个很棒的工具。
5. 注意您的 URL 参数
请始终记住，抓取工具会将单独的 URL 视为单独的网页，从而浪费宝贵的抓取预算。
同样，让 Google 了解这些 URL 参数将是一个双赢的局面，既可以节省您的抓取预算，又可以避免对重复内容的担忧。
因此请务必将其添加到您的 Google Search Console 帐户中。
6. 更新站点地图
再次强调，处理 XML 站点地图确实是双赢的。
机器人将能更好、更轻松地理解内部链接线索。
仅使用适用于您站点地图的规范网址。
此外，请确保它对应于最新上传的 robots.txt 版本。
7. hreflang 标签至关重要
为了分析您的本地化页面，爬虫使用 hreflang 标签。您应该尽可能清楚地告诉 Google 您网页的本地化版本。
首先，在 LANG_CODE 页面的标题中使用 。"lang_code" 是支持语言的代码。
< p>你应该为任何给定的 URL 使用
总结
所以如果你想知道如果抓取预算优化对您的网站仍然很重要，那么答案显然是肯定的。
抓取预算对于每个 SEO 专业人员来说都是、现在和可能是一件重要的事情。
希望这些提示可帮助您优化抓取预算并提高 SEO 性能。
祝您好运！
图片来源
特色图片：由作者创建， 2019年8月
作者截图，2019年8月
