Cloudflare 把 AI 爬虫拦截拆成三档后，挡训练为什么可能连 Googlebot 一起挡

Cloudflare 把 AI 爬虫按 Search、Agent、Training 三种用途分档管理后，拦截训练档有可能连带把 Googlebot 一起挡掉。公开观察指出，自 2026 年 9 月 15 日起这种情况生效，根因是同一个爬虫标识可能同时承担检索与训练多种用途，按档拦截时无法只切掉其中一种。

三档规则各管什么

三档对应的是访问目的而不是公司名。Search 档管的是为了建索引而来抓取内容的爬虫，拦掉它意味着放弃在这个检索产品里的可见度。Agent 档管的是代用户实时取页面的智能体流量，这类访问通常会带回引用，拦掉等于把自己从答案来源里划走。Training 档管的是拿内容做模型训练的抓取，也是内容方最愿意拦的一档。

分档管理的意义在于把”一刀切拦所有 AI”拆成可选择的动作，让站点可以留检索、拦训练。问题在于档位与实际爬虫之间不是一对一。

连带拦截发生在哪一层

连带发生在”标识与用途不匹配”这一层。Googlebot 的主要用途是搜索索引，但它同样出现在训练相关的抓取行为里，当一个爬虫被归入多个用途时，按 Training 档下拦截规则就可能把它整体拒掉，检索侧的抓取随之受影响。

表现通常是渐进的：先在日志里看到某些路径的抓取量下降，若干天后索引与流量出现变化，等发现时已经过了排查窗口。这类影响不是报错，而是”少了”，所以更难察觉。

开启前先做三步验证

第一步，核对站点自身的规则基线。robots.txt 配置是站点侧的第一道闸，爬虫先看这里；先确认现有的允许与禁止规则，再决定要在 CDN 层加什么，避免两层规则互相矛盾。若站内还有按分类或子域分开的抓取设置，也要一并核对。

第二步，建立抓取日志的可比基线。开启前记录一段时间内的抓取数据，包括按爬虫标识区分的请求量与被请求路径；开启后逐日比对，重点是检索类标识的量变化，而不是只看总量。同时检查搜索引擎侧的覆盖率与收录报告，那里能更早暴露问题。

第三步，保留可回滚的路径。改动按小步执行：先只关闭影响面最窄的档，观察若干天，再决定是否收紧；确保规则可以随时恢复到此前的配置，不需要重新搭建。开启后短期内的收录与流量异常，优先怀疑新加的拦截而不是内容改动。

站点侧还能做什么

把控制粒度尽量留在自己这边：抓取预算与优先级通过 sitemap 与推送机制维护，新内容通过百度、Bing 主动推送加速收录，减少对单一爬虫通道的依赖。需要长期观察时，把不同用途爬虫的访问情况纳入常规巡检，让”少了一块流量”这种变化能被及时看见，而不是等到月度报告才发现。

常见问题

问：既然可能误伤，是不是干脆不开拦截？ 答：取决于你对训练用量的容忍度。更稳妥的次序是先开影响面小的档、观察检索侧数据，再决定是否开训练档，而不是一次全关或一次全开。

问：怎么判断 Googlebot 真的被影响了？ 答：比对开启前后按标识区分的抓取请求量，并核对搜索引擎控制台里的收录与覆盖率报告；两处同时出现下降，基本可以确认与拦截规则相关。

问：robots.txt 和 CDN 层规则哪个优先？ 答：爬虫通常先读 robots.txt，但是否遵守由爬虫自己决定；CDN 层的拦截是实际的网络阻断，效力更强。两层要保持一致，否则会出现”允许但被拦”或”禁止但可达”的矛盾状态。