AI 爬虫已不只头部那几家，抓取预算要不要重新分
AI 爬虫已不只头部那几家，抓取预算要不要重新分配？答案是：要按现在这一年的流量结构重分一遍。当天核对到的行业统计显示，头部之外的 AI 抓取代理所占份额已经从一年前的 2.34% 涨到 Q3 2026 的 12.28%，翻了约五倍；同一份统计收录的爬虫条目有 67 个。也就是说，只针对 Googlebot、Bingbot 这几张老面孔写 robots.txt，剩下的长尾代理要么全放、要么全挡，两种结果都不是你本来想定的策略。
头部之外的份额落在哪几类代理上
按当天核对到的分布，Googlebot 占 23.80%，Meta-ExternalAgent 占 13.28%，ClaudeBot 占 13.23%，剩下的是几十个请求量不大但来源分散的代理。这些长尾代理的共同特征是：单次请求量小、UA 名称更新频繁、用途混杂，既有做检索增强的，也有做训练语料采集的。同批统计里还有 7.9% 的 AI 抓取请求直接吃了 403 Forbidden，说明大量站点的拦截是整段封死，而不是按用途区分。
分组的意义就在这里：把 67 个 UA 逐条点名维护不现实，按用途族来分组才可持续。常见的分法是检索类、代理类、训练类三族，同一族内的 UA 用同一个规则块处理，新增 UA 只需要决定归哪族。
robots.txt 的分组规则怎么排
robots.txt 管的是访问权限，规则顺序决定了生效范围。建议按下面的顺序整理，先收口再放开：
| 爬虫族 | 想达到的效果 | robots.txt 里的处理 | 备注 |
|---|---|---|---|
| 检索类 | 希望被引用 | 放行全站，只挡后台与结果页 | 这类代理带来可回溯的流量 |
| 代理类 | 允许读正文但不碰交互 | 放行文档路径，挡表单与接口路径 | 请求量集中但用途单一 |
| 训练类 | 按业务决定 | 单独规则块统一收口 | 与检索类拆开后策略才清晰 |
| 未知 UA | 默认保守 | 只放行已确认的公开路径 | 避免新增代理默认全放 |
写的时候有三个容易踩的点：族名与 UA 的匹配要一次写全，遗漏会默认落到兜底规则；挡后台路径要精确到前缀，别用通配把整个站点扫进去；改完之后规则块之间的优先级要重新看一遍，避免出现同一 UA 被两块规则覆盖。
robots.txt 与 llms.txt 各管哪一段
两者不是替代关系。robots.txt 决定爬虫能不能进、能进哪些路径；llms.txt 决定模型进来之后先看什么，它更像给大语言模型准备的站点索引。站内启用 llms.txt 自动生成，是为了让被允许抓取的内容更容易被正确理解，它并不改变抓取权限本身。
因此调整抓取预算时的顺序是：先在 robots.txt 上把族的边界划清，再决定 llms.txt 里列哪些板块。如果先把训练类全部挡掉，再去 llms.txt 里堆内容清单，等于给进不来的代理指路。
改完之后怎么验证
验证分三步。第一步看规则是否命中，用日志按 UA 族统计一段时间的请求与状态码，确认没有把想放的族误伤。第二步看后台的 robots 配置项是否与线上一致，避免模板文件覆盖手工规则。第三步回看被抓取页面的收录与引用情况，抓取预算重分的效果通常要跑满一个统计周期才能判断，别只看改完当天的数据。
常见问题
长尾爬虫逐个加进 robots.txt 行不行？ 能加，但不可持续。当天核对到的清单已有 67 个条目，UA 会随代理迭代改名。按族分组、给未知 UA 留保守的兜底规则，比逐条点名更容易维护。
挡掉训练类会不会连带影响被 AI 引用？ 会混淆。检索与训练是不同用途的代理，把它们写在同一个规则块里，就会出现想引用却一起被挡的情况。分组时先拆开，再按业务决定训练类的取舍。
403 是好的拦截方式吗？ 通常不是。大量直接返回 403 的请求说明拦截是整段封死，缺少按路径与用途的区分。抓取预算的目标是花在该花的地方，不是把所有非预期请求全部拒掉。
多久重分一次？ 建议按季度回看一次流量结构。头部之外的份额一年内就会从百分之二涨到两位数，半年不看，规则就会明显落后于实际的代理分布。