大站在 robots.txt 里限制 AI 爬虫，中小站点要不要跟着改

多数大型出版方已在 robots.txt 里限制 AI 爬虫，中小站点要不要跟着屏蔽？不建议直接照抄。第三方对大型出版方的分析里，70 家里有 60 家明确限制至少一种已配置的 AI 爬虫，其中五十多家完全封禁至少一种——但这是内容库存庞大、且正在与模型方谈授权的一方做出的选择。中小站点的可见度主要来自被检索与被引用，把抓取通道关掉的同时也关掉了被找到机会，收益结构完全不同。是否跟进，取决于你想清楚换来什么、失去什么。

先分清两类 AI 爬虫

同一份 robots.txt 里，「AI 爬虫」其实混着两类目的不同的抓取。

一类服务于搜索与检索：模型回答问题时去核实、取摘要，这类抓取会带来可见度，也是后续引用的入口。另一类服务于批量训练：大规模拉取全站内容用于模型训练，对站点短期可见度没有直接回报。

屏蔽的收益与代价主要来自第二类的区别对待。问题在于，标识是否可信、对方是否按声明区分用途，并不由你控制，所以按代理标识做的划分是「尽力而为」的边界，不是访问控制。真正限制访问要靠权限与鉴权，robots.txt 只对遵守协议的抓取端生效。

robots.txt 管抓取，llms.txt 管导航

两份文件的分工经常被搞混。Robots.txt 配置写的是允许与禁止，作用在「能不能进、能进哪些目录」；llms.txt 是站点概览，写的是内容分组与阅读路径，作用在「被允许进来之后按什么顺序理解站点」。

两者不是替代关系。放了 llms.txt 不等于允许训练抓取，屏蔽了某个代理也不等于概览文件失效。站内这两层分别由 robots 配置与概览文件自动生成承接，改动作要各自验一次。

屏蔽换来的与失去的

中小站点一般落在第二行：需要被检索、被引用，但不希望整站被批量搬走。

按栏目划抓取边界的做法

比按代理一刀切更细的做法是按内容类型划。可操作的四步：先确认哪些栏目是公开获客内容（文章、帮助、产品说明），哪些不该被抓（后台路径、预览地址、内部资料、带用户态的页面）；再对不该抓的部分写禁止规则；然后检查有没有把整站目录禁用而忘记单独放开获客栏目——禁用目录后单独放开子路径通常不会自动生效；最后按真实抓取记录核对，而不是只看文件写法。

有一处容易被忽略：抓取边界改了，清单与概览文件要同步核对。Sitemap 里不应包含已经被禁止抓取的地址，否则一边说别抓、一边把地址递过去，规则自相矛盾；概览文件里的分组入口同样要跟着调整。

改完之后要验的三项

一验搜索收录没有异常下滑，抓站内主要页面的收录状态与改前对比；二验目标栏目仍可被抓取，规则改动最常见的失误是连带禁掉了正常栏目；三验清单提交结果，站点地图重新生成后确认其中不含被禁地址。

AnQiCMS 在这三件事上都有对应配置项：Robots.txt 配置负责生成与维护抓取规则，站点地图自动生成保证清单与实际地址一致，llms.txt 由站内自动产出，改动栏目结构后一并更新即可。

常见问题

照抄大站的规则会怎样？ 大站的流量不完全依赖被引用，小站依赖。同一份禁止列表，对前者是授权策略，对后者可能是可见度损失。

屏蔽之后还会被抓吗？ robots.txt 不是访问控制，只约束遵守协议的抓取端。要真正限制，得靠权限、鉴权或速率控制。

放了 llms.txt 是不是就等于欢迎 AI 抓取？ 不是。概览文件不授予抓取许可，能不能进仍由 robots 配置决定，两者要一起看。

多久复核一次抓取记录？ 建议随规则改动复核，另加固定周期的常规检查。规则的实际效果和写法常常不一致，只有抓取记录能证明。