两百多个站点的抽样里三成多挡训练爬虫，检索类却只挡两成

抽样里三成多站点挡训练爬虫、检索类只挡两成，这两个数说明内容站做的不是「要不要被 AI 读到」的二选一，而是分场景取舍：断掉没有回报的训练抓取，保留会带来引用的检索抓取。一份 2026 年 10 月采集的公开数据集用 15 个用户标识实测了两百多个站点，在可正常读取的样本里，35% 拦下至少一个训练类爬虫，21% 拦下至少一个检索类爬虫。差值十四个百分点，方向很清楚。

这两个比例分别指什么

训练类爬虫的目的是批量拿走正**语料，站点从这类抓取里得不到回报，所以拦截动机强。检索类爬虫的目的是把页面收进索引，之后可能在答案里给出来源链接，拦掉就等于放弃了被引用的机会。

比例按「至少拦住一个」统计，所以它反映的是策略存在率，不是拦截强度。一个站点拦掉训练爬虫里的一个，也算进那 35%；这也解释了为什么两组的分母是同一批可读站点，而结果差距能到一成多。

还要注意样本口径：两百多个受测站点里可正常读取的是两百六十多个，剩下的是超时、跳转或对标识不响应的情况，读数时不能把两组比例当成全站分布。

为什么拦截率差一截

差异主要来自成本收益结构，不是技术限制。拦训练爬虫几乎不损失什么：它不带来引用，不带来访问，站点少了一路抓取反而省带宽。拦检索爬虫要付出可见代价——放弃答案里的来源曝光。

第二层原因是识别难度。同一份 robots 规则要区分两类标识，需要维护两组路径策略；而大量抓取并不按 robots 走，规则写了不等于被执行。于是很多站点选择只对回报明确的那一路放行，其余先用默认策略观察，而不是全线封锁。

第三层是内容资产差异。原创报道与工具文档被引用后收益直接，图库、聚合页与目录页更怕整站被搬走，这两类站点的拦截倾向本就不同，混合统计后自然拉出差距。

robots 配置管的是哪一层

robots 管的是「声明」。AnQiCMS 支持 robots.txt 配置，可以把不希望被抓取的路径写进去：后台目录、搜索结果页、带参数的重复页面，这些既没有收录价值又容易被批量遍历。

声明层的边界要认清：它是合作性规则，只对遵循协议的标识有效。对不读规则的抓取程序，它没有约束力。另外，禁止抓取不等于不被引用——已被索引的页面即使后来加了禁抓规则，也可能在一段时间里继续出现在结果里，所以规则变更要配合收录检查，而不是写完就算完成。

干扰码管的是哪一层

干扰码管的是「拿到之后还能不能用」。AnQiCMS 内置防采集干扰码，在页面里插入对正常显示无影响、对批量复制有害的内容，让采集方拿走的是残缺文本，同时保留人眼阅读的完整性。这一层和 robots 的关系是互补：一个在前端声明边界，一个在数据里保护成品质量。

内容采集本身也是行业事实——从其他网站自动采集内容是常见做法，站点被搬走的速度往往比被索引的速度更快。所以只做收录优化、不做采集防护，等于把成品放在无人看管的货架上。

对使用 llms.txt 的站点还有一层要考虑：LLMs 类文件是给模型读取准备的入口，规则要和内容保护策略一致。如果 robots 禁抓的路径在 llms.txt 里被列成推荐来源，两套声明就会互相矛盾，先定优先级再写文件。

内容站怎么定策略

按三步收敛：

先分类。哪些页面希望被引用、哪些页面只希望被自己消化，写成一张表，避免用整站级规则处理页面级差异。

再分层。robots 处理路径级声明，干扰码处理高价值正文，敏感内容用 VIP 分组与权限控制而不是靠禁抓。

最后复核。策略调整后要观察收录与引用两边的变化，检索类抓取被误拦的表现是被引用户消失，训练类未被拦住的表现是流量报表看不出异常但内容出现在别处，两种都需要看日志而不是只看报表。

两层分工对照表

常见问题

三成多这个数能不能当行业基准？ 不能。它是单个样本量的实测分布，站点类型与地区构成会影响结果，当作方向参考比当作基准更稳妥。

拦训练爬虫会不会连带影响搜索收录？ 有风险。两类标识的用户标识名称相近，规则写宽容易误拦检索类，改完要单独确认搜索类抓取仍在继续。

干扰码会不会影响正常用户复制？ 会有影响，但只影响批量整段复制。人手动选段复制时看到的是完整文字，报表里体现不出来，需要人工抽查页面。