AI 训练抓取和 AI 搜索抓取分成两类之后，robots 文件怎么写才不误伤收录
AI 训练抓取和 AI 搜索抓取分成两类之后，robots 文件的写法就不该再是「全封」或「全放」。行业做法已经明确：屏蔽训练类抓取的同时，保留搜索类抓取仍然可以让页面进入 AI 答案的引用范围。要不误伤收录，写规则前要先回答三个问题，改完必须有自检步骤，并且要清楚 robots 与站点地图、llms.txt、链接推送各自管哪一段。
两类抓取为什么要分开
训练类抓取的目标是把内容纳入模型语料，站长关心的边界通常是内容资产是否被长期吸收；搜索类抓取的目标是实时检索，页面被引用会带来可回溯的访问来源。两类意图不同，对站点的影响也不同，所以按用途分别控制才是合理粒度。把两类混为一谈封成一个开关，常见后果是训练没挡住多少，反而先把可引用的入口关掉。
写规则前的三个问题
第一问：这个目录是否本来就不该被抓取？后台路径、预览链接、站内搜索结果页、带筛选参数的列表页，这些属于「先禁止再谈 AI」的部分，与 AI 无关也应该处理。
第二问：禁止是为了版权边界还是为了省抓取预算？两者写法不同。省预算应该用参数规则与站点地图优先级来控制，而不是把内容目录整体封掉。
第三问：封了之后还希望被引用吗？如果希望，就要给搜索类抓取留出通道，并接受「内容会被实时读取」这一前提。
| 位置类型 | 建议处理 | 说明 |
|---|---|---|
| 后台与接口路径 | 对所有抓取一律禁止 | 与 AI 无关的基础卫生 |
| 带筛选或排序参数的列表页 | 禁止或收敛 | 避免重复抓取浪费预算 |
| 预览与草稿链接 | 禁止 | 防止未定稿内容被收录 |
| 正式内容页 | 分类对待 | 训练类可按策略处理，搜索类保留 |
| 站点地图文件 | 显式允许 | 让抓取发现路径保持通畅 |
具体怎么写
写法上遵循三条原则。其一，按抓取标识分组写规则，而不是用一条全局规则覆盖所有爬虫，因为不同爬虫对同一指令的解析能力并不一致。其二，指令要写成可核查的形式：禁止某个目录时把路径写完整，避免用过于宽泛的匹配把内容目录一起带走。其三，改完必须看日志，robots 文件的实际效果取决于抓取方是否遵守，纸面规则与线上行为经常不一致。
AnQiCMS 的 robots 配置在后台完成，不需要直接改文件；同站点还能配置 301 重定向与伪静态 URL，这两处会影响抓取路径，改 robots 时应一并核对，避免出现「robots 放行了但重定向把路径指向了禁止目录」这类组合错误。
改完怎么自检
建议按这个顺序走一遍：
- 直接在浏览器访问 robots 文件地址，确认内容与后台配置一致，没有被缓存旧版本；
- 用抓取工具检查具体页面的可抓取状态，重点看禁止规则是否误命中内容页；
- 在搜索控制台或同类工具里查看抓取统计，确认封禁之后抓取量下降的位置正是你打算收敛的目录；
- 观察索引与引用变化，搜索类抓取被封会在收录与引用上滞后体现，通常不会当天出现，因此要留出观察窗口再判断；
- 保留一次可回退的变更记录，AnQiCMS 支持备份数据与静态文件，配置改动前后各留一份能最快恢复。
和站点地图、llms.txt、链接推送的分工
这四件事经常被混在一起讨论，实际各管一段：
- robots 管「允不允许抓」；
- 站点地图（sitemap）管「去哪儿发现页面」，AnQiCMS 支持自动生成；
- llms.txt 管「面向大模型的入口说明」，由系统自动生成，让模型侧读到站点结构与重点页面；
- 链接推送与主动推送管「新内容什么时候被知道」，负责把更新及时告知搜索引擎。
只写 robots 不提站点地图，等于把门的开关调对了但没告诉对方入口在哪；只放 llms.txt 却在 robots 里封掉内容目录，文件写得再完整也没有抓取发生。四者按顺序对齐，才是完整的抓取控制方案。
常见问题
封掉训练类抓取会不会影响自然搜索收录？
不会直接影响，前提是你只针对训练类标识写规则，保留搜索引擎自身与搜索类抓取。风险点在写法过宽，务必按自检清单核对内容页状态。
能不能只在 robots 里禁止，不加其他措施？
robots 是请求式约束，依赖抓取方遵守。若目标是更强的技术隔离，还需要结合服务端鉴权与访问频率控制，把敏感接口留在需要登录态的范围内。
改了规则多久能看到收录变化？
取决于抓取频次与索引处理，通常以天为单位滞后。判断时不要只看单日数据，至少要覆盖一个完整抓取周期。