广告页面开始默认拦截训练型爬虫，内容站怎么设抓取边界

有平台把含广告页面的训练型爬虫默认拦截，内容站该怎么设置抓取边界？以 Cloudflare 为例，其在 2026 年 7 月面向全部客户提供了 Search、Agent、Training 三类 AI 流量管理选项，含广告的页面默认拦掉训练与智能体两类抓取。这意味着「让不让 AI 拿内容」从单开关变成了按用途授权，站内要跟着重画三层边界：进门规则（robots 与各层的抓取授权）、拿走成本（防采集干扰码）、以及模型可读性（面向大模型的说明文件）。

平台默认策略改变了什么

过去的抓取是粗粒度的：一个 robots 文件、一个「允许/禁止 AI 爬虫」的总开关，检索和训练混在一起放行。平台侧按用途分类后，出现了一个新现实——同一类爬虫，在你看不到的边缘层可能已经被默认拦下或放行，而站内的 robots 并不知情。

对内容站有三点直接影响。其一，你在 robots 里放行训练类抓取，不等于实际放行，边缘策略可能覆盖你的意图；反之你禁止了，也可能被别的层绕过，两边的配置要定期对账。其二，「靠内容引流、靠广告变现」的站点突然发现自己默认不对训练爬虫开放，这未必是坏事，但要知道发生了什么。其三，授权粒度变细后，按内容类型分级设边界成为可能，一刀切反而浪费。

先分清三类流量再谈边界

三类流量的回报结构完全不同，边界的合理形态是「分别授权、分别记录」：检索类通常值得欢迎，训练类看内容资产价值取舍，智能体类介于两者之间、可按页面敏感度处理。

站内三层边界各挡什么

第一层是进门：AnQiCMS 支持 robots 配置，抓取器按文件规则决定取不取；要按路径区分开放范围的（比如新闻放行、教程库限制），在这层写清楚，并保持与平台侧分类设置口径一致——两边互相矛盾时，实际生效的是更严的那条。

第二层是拿走成本：robots 挡不住执意采集的程序，防采集干扰码给正文混入展示层不可见或错乱的字符，让批量采集拿到的内容直接不可用，保护原创不被整站搬运。它针对的是「不守规矩的抓取器」，与第一层「君子协定」互补。

第三层是可读性：内容允许被 AI 理解时，自动生成站点 LLMs.txt，向大语言模型说明站点结构与重点内容，让「欢迎检索类引用」有明确的落点；这一层解决的不是拦，而是让愿意来的模型读得懂。

一刀切之外的记法

设边界最忌凭感觉。建议用一张决策表记录每类内容的态度：栏目范围、允许哪类流量、授权依据（平台设置、robots、说明文件三处各写什么）、复核周期。每季度按抓取日志对一次账：训练类抓取量与预期是否相符、干扰码触发统计有没有异常飙升、说明文件有没有被实际引用。边界是运营资产，不是一次性配置。

常见问题

平台默认拦截了，还要自己配 robots 吗？ 要。平台策略与站内规则是两层，各自可覆盖可叠加，只依赖其中一层都会在换接入商时突然失效。

干扰码会影响真人阅读吗？ 设计上不影响：干扰内容对正常访客不可见或不可感，主要作用于批量抓取的原文还原质量。

想对训练类收费或 selectively 开放怎么办？ 现阶段按用途在平台层做粗授权，站内用路径规则做细授权；涉及按次结算的抓取模式，等双方账期机制稳定后再参与不迟。