AI 爬虫拦截比例两个月之间发生变化，是平台默认值改的还是站长改的

同一个批次的域名在两个月里 AI 爬虫拦截比例发生变化，是平台默认值改了还是站长自己改了配置？多数情况是前者。区分方法不是猜，而是看变化的方向：同一批样本在两个月里各测一次，中间正好夹着一次平台默认值上线，位移集中在训练类与代理类这一侧，检索类基本没跟着动。如果换成站长逐条改自己的 robots 文件，几家厂商的比例应当各自随机变化，不会呈现这种同一步调。

两次测量之间发生了什么

2026-10-30 打开原文核对到的口径是：这份 AI 爬虫拦截指数在七月与九月各测了一次，样本覆盖 10,894 个域名。两次测量之间上线的那次变更写得很直白：自 2026 年 9 月 15 日起，新接入的域名收到新的默认值，被归类为训练类与代理类的爬虫在展示广告的页面上默认拦截，检索类继续放行。

默认值的作用范围是被声明的，只覆盖新接入的域名，可整批样本的比例仍然动了。原因分两层：一是新域名带着新默认值进入样本，这是结构性位移；二是有一部分站长照着同一份模板批量改了配置，这才是站长真正要负责的那部分。看自己站的时候，两件事要分开算。

比较之前先把口径对齐

同一份统计里有两个不同口径。全站维度上，拦 GPTBot 的域名占 7.9%，拦任意一家 AI 爬虫的占 10.3%；到新闻发布行业，这两个口径分别抬到 50.5% 与 56.4%。比两个月的差值时必须锁同一口径：拿「拦任意一家」的后一次数值去比「只拦某一家」的前一次，会得出一个并不存在的涨幅。

行业分层同理。内容本身就是库存的行业拦得高，全站均值对它没有解释力；反过来拿新闻行业的数字衡量自己的产品文档站，会把正常状态当成异常。样本里行业构成变了，均值也会变，这跟单个站长的决定无关。

拦训练与拦检索为什么要分开看

两类爬虫的用途不同，代价也不同。训练类取料是一次性大批量抓取，拦住它少一份被模型引用的机会，也少一份可能的引荐流量；检索类与实时取回类往往带着真实用户，拦住它等于关掉从生成式答案进站的入口。把两者压成一个「AI 爬虫」开关，数字就会随平台默认值摇摆，站长很难判断自己究竟关掉了什么。

自建程序里更省事的分层是把三类用途分别落到配置上：robots 文件按用户组分组写清处置，llms.txt 决定内容是否面向大语言模型组织，GEO 相关的可见性口径单独确认。三层各管一段，改动才能归因。

站长真正要动的三处配置

一处是抓取控制文件本身：按用户组分组，训练类、代理类、检索类各给处置，不要整段封死。一处是平台侧的分类开关：新默认值只管新接入域名，老域名要自己去确认当前生效值，而不是假设已经生效。还有一处是站内出口：站点入口、llms.txt 与正文页的可见性要一致，别出现索引入口被拦而正文放行，或者反过来。

改完之后不要只看配置文本，要看真实返回。分别记录三类代理的请求量与返回状态，一次只动一层。同时改三层，结果无法归因，下次遇到同样的位移还是猜。

常见问题

问：拦截比例涨了，是不是一定有人改过配置？ 答：不一定。新增域名带着平台默认值进入样本，也能造成整体位移。

问：只改 robots 文件够不够？ 答：不够。robots 是礼貌性指引，强制拦截发生在平台或规则层，两处要一起确认当前生效值。

问：检索类要不要跟着一起拦？ 答：先看它带来的请求有没有进站与转化。多数内容型站点会把检索类单独放行，只收紧训练类。