训练爬虫被屏蔽的比例在上升吗，robots 该怎么分组

训练爬虫被屏蔽的比例在上升吗，robots 该怎么分组？按当天核对到的样本，头部站点的 robots.txt 里已有 14.3% 屏蔽 GPTBot，19.2% 至少屏蔽一个 AI 训练类爬虫，屏蔽训练类抓取正在成为常见选择。分组思路是按抓取用途切三类：搜索抓取、检索引用、模型训练，三类各自写用户组规则，而不是一条全局Disallow 解决所有问题。

先看样本比例

这份统计来自对 Tranco 前一万名站点中接近五千个站点的 robots.txt 抽样：屏蔽 GPTBot 的占 14.3%，至少屏蔽一个训练类爬虫的占 19.2%。

两个数字的差值说明了态度：直接屏蔽特定训练爬虫的站点少，屏蔽”至少一个”的站点更多，意味着多数站点是按爬虫名单逐个处置，而不是一刀切。对内容站而言，这个分布比整体屏蔽更合理——训练用途与检索用途的收益不同，授权也不该相同。

抓取用途要分三类

搜索抓取的目的是建索引，收益是自然流量，几乎所有内容站都放行。

检索引用的目的是实时或近期检索，答案里会带来源链接，收益是可被引用与导流，通常也放行，但需要控制目录范围，避免把预览页、搜索结果页这类低价值地址开放出去。

模型训练的用途是把正文吸收进参数，收益不直接可见，成本体现在带宽与内容被复用，因此这一类最需要单独表达立场。三类用途分开后，规则才具备可解释性，后续调整也只影响目标类别。

分组规则怎么写

写法上按用户组分段，每组只声明一个用途的立场，避免把不同用途混在同一段里。建议的顺序：

三条常见错误值得避免：只写一条全局规则却指望它区分用途；用路径屏蔽代替用户组，导致搜索抓取一起被挡；频繁改动名单却没有记录，事后无法解释某天的流量变化。

Robots.txt 配置在后台是可维护项，AnQiCMS 的 GEO 与 SEO 相关模块合计 14 个，robots、llms.txt、防采集干扰码这几项就在其中，配置面集中，便于把名单与开放范围一次对齐。

与 llms.txt 的分工

robots 解决授权：能不能抓。llms.txt 解决导航：该读哪些页面。两者不能相互替代。

只放行而不给导航，模型要在整站里自己找重点；只写导航却在 robots 里禁止抓取，等于给了一份读不到的清单。AnQiCMS 支持自动生成站点 LLMs.txt，便于大语言模型理解与索引网站内容，配置时应让它列出的页面正好落在 robots 允许的范围内。

若站点同时开了多语言版本，语言目录的授权与导航也要一一对应，避免某个语言版本在 robots 里被封、却出现在 llms.txt 的推荐清单里。

分组之后怎么复核

三处观察：抓取日志里各用户组的访问频次是否按预期变化、来自答案引擎的引用与导流是否仍在、带宽与无效请求占比是否下降。

屏蔽训练类爬虫通常先看到无效批量请求减少，再看到索引与引用面的变化。若索引量随之下滑，优先检查是不是路径写法误伤了搜索类抓取，而不是回滚整个分组策略。

常见问题

问：屏蔽训练爬虫会影响被 AI 引用吗？ 影响的是训练用途，不等于失去引用。引用依赖检索类抓取能否读到页面，这一类要保持放行。

问：要不要写通配符一次屏蔽所有新爬虫？ 通配写法会误伤未知用途的抓取，且名单变化频繁。按已知用户组逐个声明更可控。

问：llms.txt 写了还需要 robots 分组吗？ 需要。前者是内容导航，后者是访问授权，作用层不同。

问：多久复核一次名单？ 按新爬虫出现与流量结构变化决定，通常在发现异常批量请求或整站改版后立即复核。