容量尚有余量，Google为什么仍可能少抓：预算中的能力与需求

网站没有把抓取容量用满，是否就应该持续获得更多抓取？Google Crawling Infrastructure的说明把crawl budget分成两项：crawl capacity limit与crawl demand。前者描述能够承担的抓取范围，后者描述系统想抓取什么。官方的概括是，两者共同决定Google能够且愿意抓取的URL集合。

这里的site还有特定粒度。文档按unique hostname定义站点，并举www.example.com与code.example.com分别具有抓取预算。这个定义关注主机名，不是只按网页主题或同一个品牌来合并。讨论预算之前保留这一层，才能知道文中所说的站点究竟覆盖哪些地址。

容量上限着重于连接占用。Google说，它同时考虑并行连接的数量及连接持续时间，使抓取不至于压垮服务器。各站点从同一个保守默认上限开始；当有更多抓取需求且站点保持健康时，系统会随时间自动调整。这里是官方对机制的说明，不是本文测得某个服务器有多少剩余能力。

需求并不由连接数量单独决定。原文说，不同爬虫有不同需求因素，例如AdsBot与动态广告目标有关，Google Shopping与商品资料有关。Googlebot又会结合网站规模、更新频率、页面质量和相关性，并相对其他网站判断。于是，同一时间存在不同需求，不能用一个爬虫的兴趣直接代表其他爬虫。

Googlebot的具体因素还包括已知URL清单、网络上的受欢迎程度与内容陈旧程度。清单里若有重复、已移除或不重要的URL，抓取时间也会被占用；较受欢迎的URL倾向更常被重新访问，系统也希望及时获得文档变化。它们分别联系已知对象、外部关注与刷新需要，不是三个可以直接相加的固定分数。

容量与需求的关系还有共享条件。原页明确，各爬虫的需求不同，但容量上限由所有爬虫共享。因此，一个爬虫需求较高时，可能减少其他爬虫可用的容量。不能因为爬虫各有名称，就把每一个都想成拥有完全独立、互不影响的连接额度。

反方向同样成立：容量没有到顶，如果需求较低，Google仍会少抓。页面随后指出，对Google Search而言，已抓取的网页也并非必然进入索引；抓取之后还要评估、整合，并判断是否适合索引。能够取得页面、愿意重新抓取以及最终纳入索引，因而是相连而不同的处理问题。

本文采用General theory、Capacity、Demand与Summary的连续文字和邻接，不转写后面的优化操作。网页更新日期不替代未知首发日，本文也没有查看本站报表、修改服务器或操作搜索工具。对搜索营销资料，准确分开容量、需求和索引处理，才能解释为何尚有能力不等于一定多抓，而多抓又不自动成为收录或排名保证。