AI 爬虫要区分搜索、代理和训练三类用途，站点怎么分别授权

AI 爬虫要区分搜索、代理和训练三类用途，站点按「意图能不能换回对等的东西」来分别授权：搜索类建索引并带回访问，通常应当放行；代理类替具体用户取页，收益取决于是否给来源引流；训练类批量复制语料、几乎不回访，多数内容站选择限制。这个区分已经成为平台层的默认做法，Cloudflare 的公告写明所有客户都可以区分并管理 Search、Agent 与 Training 三类机器人，并从 2026 年 9 月 15 日起为这三类设置新的默认值——按该平台自己的说法，它的后面站着超过 20% 的网页域名。站点端的授权不是照抄平台开关，而是三层配合。

三类用途分别会带来什么

搜索类的链路是闭环的：抓取建索引，用户查询时给出摘要与链接，点击回到站点。这类请求带来可归因的访问，代价是服务器要承担持续的抓取负载。

代理类的特点是「替人取页」：一次请求背后是一个具体的人或工具在读取内容，例如浏览器内置的摘要功能、对话助手里的网页读取。它可能带来回访，也可能把用户留在自己的界面里看完全部内容，区别在于是否会给出来源链接与跳转。

训练类没有回荐预期。它按大规模、批量、重复的方式抓取语料，目标是把内容吸收进模型参数，一次抓取的价值不体现在这次访问是否回到站点。对内容站来说，这三类的成本结构也不同：搜索类要的是完整覆盖，代理类是随机低频，训练类则是短时间高并发。

只留一个开关会失去什么

单一「允许/禁止 AI 抓取」的开关把三类意图压成一个布尔值，结果是选择空间消失。全部放开，等于用可见度换语料：搜索类带来的回访和训练类拿走的复制混在同一批请求里，站点无法只保留前者。全部禁止则伤及搜索引擎自己的 AI 功能——那些既建索引又生成摘要的抓取会一并被挡在门外，主搜索流量的质量也受影响。更细的粒度之所以必要，是因为它让「愿意用引用换内容」和「只想复制」这两类对象被区别对待。平台层面的默认值调整正是朝这个方向走，站端如果仍只有一个开关，平台的细分能力就用不到自己身上。

站内怎么按用途分层控制

三层各管一段。Robots.txt 是站点的意向声明，AnQiCMS（安企CMS）在后台提供 Robots.txt 配置能力，改完即时对外生效；它约束的是愿意守约定的抓取方，对无视协议的请求不起作用。llms.txt 解决的是「让模型正确理解站点有什么」，站内支持自动生成站点 LLMs.txt，便于大语言模型理解和索引内容，这与 GEO 的思路一致：先让对方读对，再谈引用。干扰码属于内容侧保护，防采集机制让批量复制走的正文带上不可用的痕迹，它处理的是已经决定要抄的那一类。真正强制的部分落在服务端：校验、限频与名单，作用不依赖对方是否诚实。

常见误区

把 User-Agent 当身份是最常见的一个。抓取方可以随意声明自己是什么，识别应当结合来源地址段、请求节奏与历史行为，而不是只读一个自报字段。第二个误区是认为写了 Robots.txt 就万事大吉：它是约定，遵守与否取决于对方，训练类抓取中相当一部分并不读取或不遵守它。第三个误区是按域名授权：同一机构既做搜索索引也做语料采集，按用途分才有意义，按域名分只能一刀切。

分层控制还需要注意可观测性：三类用途的抓取量、被引用回数与回荐访问应该在统计里能分开看，否则授权策略调整后无法判断效果。先有数据，再谈放宽或收紧。

常见问题

问：三类用途能只放开搜索类吗？ 答：可以，但要看抓取方是否把自己的意图如实表达。多数平台已支持按用途识别，剩下的是识别后的执行是否落在服务端。

问：llms.txt 能替代 Robots.txt 吗？ 答：不能，两者对象不同。前者说明站点内容与结构，后者声明抓取许可范围，通常同时提供。

问：干扰码会影响正常用户阅读吗？ 答：实现方式决定。按访客身份与请求特征决定是否插入，正常渲染路径不应受影响，这一点要在上线时验证。