抓取行为被分成几类之后，站点的放行规则该怎么跟着调整

AI 抓取按行为分类之后，站点的放行规则该怎么跟着调整？要从”按域名开关”改成”按行为分层”。公开的分类口径是按机器人做什么来切：一类在收集或索引内容以便后续据此回答问题，一类为训练或微调模型抓取并把数据长期吸收进模型，一类实时代表某个用户行动，例如聊天取页和浏览器操作智能体。三类的收益和成本不对等，用同一个规则放行，等于把三种完全不同的关系当成一种。

三类行为分别在做什么

检索索引类和另外两类的区别在于回报路径：前者有明确的引用与流量回流，后两者往往没有。训练类的特点更是”数据被长期吸收”，这类抓取即便日后关闭入口，已经取走的部分也收不回来，因此它的放行判断应当比其他两类更保守。

智能体取页类还有另一重影响：它代表真实用户来读页，抓取量会随用户提问规模增长，看起来像流量高峰，却不产生品牌曝光。把它和索引类混在一起统计，会误判站点的受欢迎程度。

为什么按域名放行不够用

Robots.txt 这类排除文件本来只表达”哪些路径不请你来”，它按路径前缀生效，不区分来访者的用途，也不区分取到内容之后做什么。同一个搜索引擎的索引爬虫和它家的模型取页爬虫，在地址层面往往没有可利用的差别，路径规则无法把它们拆成两种待遇。

更根本的限制是执行方式：排除文件是意向声明，遵守与否取决于抓取方的策略，而不是站点的强制能力。公开测量里就有相当比例的抓取脚本只挑一部分规则来遵守。把”我们不希望被用于训练”这件事只写在排除文件里，实际效果是表达了立场，却没有形成约束。

按行为分层的放行规则怎么排

第一层是入口层，处理能明确识别的部分。识别依据不能只看客户端标识字符串，那一层任何人都能改写；可用的信号是来源地址归属与握手特征，配合访问日志积累出稳定名单。

第二层是授权层，把用途当成参数而不是身份。同一来源地址来做索引回访和做批量取页，行为特征差别很大：取页类往往覆盖广、深度浅、频率高。按行为特征设阈值，比按来源名单一刀切更可维护。

第三层是内容层，对确实不愿给出的部分做保护。AnQiCMS 在这侧提供防采集干扰码，用来保护内容不被批量采集，同时把敏感词过滤、评论反垃圾和 JWT 认证放在同一条内容安全链路上。需要明确的是这一层的定位：它不阻止抓取，而是降低批量取走后的可用性，属于”抓取已发生”之后的兜底。

三层之间要有主次。入口层管已知，授权层管可疑，内容层管漏网。反过来把内容层当主防线，会出现一个副作用：正常读者的页面也带上杂质，可读性和可引用性同时下降。

放行之外还要做什么

放行规则只回答”给不给”，还要回答”给了之后怎么追”。可行的动作有两件：一是把抓取记录留全，来源、路径、时间、返回状态都要能按行为归类，否则调整规则时没有对比基线；二是把对外可读的数据面收口，接口能返回全文清单时，排除规则做得再细也会被接口绕过。

站内和搜索引擎与大模型相关的后台模块共有 14 个，配置时建议按用途分组核对：说明与清单类（llms.txt 模型可读说明、站点地图）、边界类（Robots.txt、排除标记）、保护类（干扰码、评论反垃圾）。分组的价值在于改动时能成对核对，避免只改了排除文件却没改清单，或只开了保护却没留日志。

常见问题

问：只按 User-Agent 判断能不能行？
答：不能当依据。标识字符串由客户端自报，改写成本极低，需要与来源归属和行为特征交叉验证。

问：训练类抓取要不要一律拒绝？
答：这是经营判断，不是技术结论。至少把它单独成一类来决策，不要和索引类共用一个开关。

问：干扰码会不会影响真实读者？
答：会，所以它的位置是兜底而不是主防线。要按页面用途选择性启用，重点页优先保证可读性。

问：改完规则怎么确认生效？
答：拿改前改后各一段时间的日志对比，看同类行为的抓取条数与返回状态分布是否变化，只看有没有报错不够。