小站点需要操心抓取预算吗，后台先看哪两个数

小站点需要操心抓取预算吗，后台应该先看哪两个数？多数情况下不需要把它当瓶颈：抓取预算真正卡住的是页面量极大或更新极频繁的站点。小站先回到两项指标——搜索控制台里的每天抓取请求总数与平均响应时间，把这两条线看稳，再决定要不要处理失效链接、重定向链和臃肿的站点地图。

抓取预算在什么规模才成为瓶颈

判断依据是页面总量与更新频率的乘积。几千页、按月更新的内容站，一天里被抓到的机会通常不缺；几万页以上、每天新增大量条目、还带筛选组合的站点，才会出现深层页面长期轮不到抓取的情况。前者更常见的困扰是新页面迟迟不被收录，这属于提交与内链问题，不是额度问题。

后台两项指标怎么读

两项要连着看：请求数高但响应慢，浪费更明显；请求数低而响应正常，通常是站内链接没有把入口递出去。

常见的三类浪费

一是失效链接，指向已删除文档或不存在的地址，爬虫照样要来一趟；二是重定向链，旧地址跳到新地址再跳一次，多级链式跳转把请求消耗在路径上；三是过重的页面，列表页把大量条目与脚本一起塞进首屏。对应处置也很直接：把旧地址用重定向一步指向最终地址，定期从站点地图里清掉报错页与跳转页，只在需要时被 robots 规则排除的路径才写进屏蔽。

站点地图里该放哪些地址

只放你希望被收录、且当前返回正常的地址。已删除、待发布、带临时参数的组合地址都不该出现；多站点或语言版本要分别维护，别把两套地址混进同一份文件。新内容与改版地址再配合主动推送，让发现动作不必等下一次顺路抓取。

小站的优先级排序

把动作按收益排一遍：先清失效链接与多级跳转，这类改动当天就能做完；再核对站点地图里的地址是否都返回正常、是否都该被收录；然后看页面重量，列表页一次带出多少条目与脚本；最后才轮到 robots 规则，明确不需要被抓取的路径再排除。内容侧的投入同样不能省——小站更常见的问题是可供抓取的内容太少、内链太浅，这靠额度优化解决不了。

常见问题

小站完全不用管抓取吗？ 要管的是浪费而不是额度，失效链接与重定向链属于低成本高收益的清理项。

响应时间多少算慢？ 以自身基线为准，重点看改版或迁移前后的相对变化，而不是绝对毫秒数。

站点地图越大越好吗？ 不是，条目里混进不该收录的地址，只会同时浪费抓取与索引两侧的名额。

** robots 文件要不要写全量规则？** 只排除明确不该被抓的路径，无差别屏蔽容易连带挡住正常入口。

新站上线第一件做什么？ 先把首页、栏目与代表内容的内链接通，再配主动推送，让新地址在第一天就被读到。