把训练爬虫挡在门外的站点，被 AI 引用的次数掉到什么量级

站点在 robots 里拦掉训练爬虫之后，被 AI 引擎引用的次数会掉到什么量级？当天复核到的研究覆盖一千余个域名，给出两层数字：一层是拦截率，按不同爬虫分别统计，拦得最多的一档接近一成八，另一档一成五左右，还有一档一成四上下；另一层是引用落差，拦掉检索类抓取器的站点，平均被引用次数从每页零点四一七次降到零点零零三次，两个数量级的差距。同一样本里的另一个引擎上，落差是接近腰斩而不是清零。

拦截率说明的是行为分布

这三个比例读出来的是「大家都在拦什么」，不是「拦了多少内容」。它们按爬虫名称分列，说明站长的配置是区分对待的——同一个站可能拦训练用途的抓取器，却放行检索用途的抓取器。

这也是分级配置能成立的前提。如果全站一刀切，被拦掉的就不只是训练用途，检索与摘要侧的读取通道同时关闭，代价直接体现在引用次数上。当天复核到的数字给出的正是这条路径的后果。

引用落差怎么读

引用次数的口径是页面在引擎回答中被点名的平均次数，与流量无关。差两个数量级意味着：在拦掉抓取器的样本里，绝大多数页面根本没有出现在引用列表里，而不是「出现得少一些」。

要注意的是相关性方向。拦掉抓取器的站点里，本来就有一批是不希望内容被抓走的（比如新闻与出版类），它们的引用低既可能是拦截的结果，也可能是内容类型的结果。这个数字适合用来估「拦与不拦的差别有多大」，不适合用来估「我拦了会掉多少」。

按页面类型分级

robots 配置管的是「谁来读、读哪些路径」，这一层要按上面的分级逐条核对，而不是写一条全局规则。

拦截与防采集不是一回事

robots 里的规则作用于抓取阶段，是否遵守取决于抓取器自己；防采集干扰码作用于复制阶段，针对的是把页面内容整段搬走的行为，两者解决的不是同一个问题。把拦截爬虫当成内容保护，通常两头都没做好：想要引用的人被关在门外，想抄内容的人换个入口照样能拿到。

同理，llms.txt 属于「怎么理解站点结构」的一层，不与抓取许可冲突。若决定放行检索类抓取器，这一层配合起来才完整。

常见问题

只拦训练类会不会也影响被引用？ 要看具体抓取器的用途划分，训练与检索往往是不同的标识，按名字分别配置才能只关一边。

已经拦了，改回来的代价大吗？ 配置改动本身很快，被重新读取与再引用有滞后，改完要观察几周而不是当天看结论。

分级放行会不会被整站抄走？ 复制风险靠防采集与权限控制处理，和抓取许可分开做更清楚。