谷歌加里Illyes 更新了他关于抓取预算的原始文章并阐明了不允许的 URL。
该文件现在包含以下信息：
“问：我通过 robots.txt 禁止的 URL 会以任何方式影响我的抓取预算吗？
" p>
回答：不，不允许的 URL 不会影响抓取预算。"
问题涉及“User-agent: * Disallow: /”协议。
它可以用于阻止整个网站被抓取，也可以用于阻止特定 URL 被抓取。
根据 Illyes 的更新，阻止特定 URL 将不会影响网站其余部分的抓取预算。
该页面不会被更频繁地抓取，因为不允许抓取网站上的其他页面。
没有爬取预算时禁止 URL 的缺点。
更新信息出现在本文底部，这是 2017 年的网站管理员中心博客文章。
Illyes 在 Twitter 上表示有计划将博客文章变成官方帮助中心文章。
