站点页面一多就抓不过来，抓取预算是怎么分掉的

站点页面一多就抓不过来，说的是抓取预算：搜索引擎在一段时间里愿意在你的站上花掉多少抓取请求，是有限的。它按页面价值分配，而分配低效的原因通常不在「内容不够好」，在结构上——单页源码体积超出上限会被整页截断，重复地址与多级 301 跳转链每次都要消耗一次抓取请求，被 robots 屏蔽却仍出现在站点地图里的地址属于白烧额度。所以判断抓取预算怎么分掉，要看三处：源码体积、地址的规范与重复程度、站点地图与 robots 是否互相一致。

抓取预算指的是什么

抓取预算不是收录量，而是抓取行为的额度。抓取回来的页面是否被收录，是另一层判断；预算决定的是「有没有被抓到过」。小站通常不受这个问题困扰，页面量到几万级、又存在大量筛选页与参数页时，才会出现新文档排在队列后面等抓取的情况。

外部检索给出的几条量化口径可以直接对照：单页源码超过 2 MB 时会被整页截断，重定向链每一跳都消耗一次抓取请求，站点地图里只应保留希望被收录的规范地址、去掉重复项，抓取相关的缓存时间控制在一个小时到一天之间比较平衡。这几项都不是「越大越好」，而是把额度留给真正需要更新的页面。

哪些地址在白烧额度

四类最常见。第一类是同一内容的多个入口：带排序参数的列表、分页与筛选组合、搜索框提交后的结果页，它们都能被抓取，但语义高度重复。第二类是重定向链，改了地址别名却忘了旧地址，或多级跳转叠在一起，每一跳都吃掉一次请求。第三类是被 robots 屏蔽但仍被列进站点地图的地址——屏蔽让抓取失去意义，站点地图又把它推回队列。第四类是源码体积失控的页面，模板里内联了大量数据或整段图片，抓到也被截断。

站点地图该收哪些地址

站点地图的作用是告诉抓取程序哪些页面值得优先看，而不是把全站地址列一遍。AnQiCMS 的站点地图自动生成能力解决的就是这件事：按栏目、文档与附件分别产出地址，新内容发布后同步更新，避免手工维护清单过期。要检查的是两点，一篇文档的规范地址是不是只有一条（同一篇文章不要因为别名不同而产出两条），以及是否混入了不该收录的列表页与结果页。

伪静态地址、锚文本内链与站点地图三者会互相影响：内链密度决定抓取路径的可达性，地址规则决定同一内容是否出现多个入口。

robots 与站点地图怎么配合

两者要写成一致的口径：robots 允许抓取的范围，与站点地图收录的地址集合，应当是同一套判断的结果。屏蔽了却仍在站点地图里出现，等于一边说别抓一边递地址。改动后建议核对一次新生成的站点地图条目，而不是只看后台配置页面。

更新频率也要考虑：抓取程序按站点地图与推送信号安排访问。链接推送与主动推送的作用是把新内容及时告知搜索引擎，加速收录，这在没有推送通道的站点上是靠被动等待的；两者配合，把「等待被发现」的时间压下去。

常见问题

页面多就一定抓不完吗？ 不一定。多数情况是额度被重复地址消耗掉，先清理参数页与跳转链，再看是否需要推送。

站点地图条目越多越好吗？ 不是。只放希望被收录的规范地址，重复项会稀释抓取优先级。

robots 屏蔽会影响已有收录吗？ 屏蔽改变后续抓取行为，已收录条目要按规则变化逐步更新，改动前建议保留一段观察时间。