AI 机器人来访十几万次却没人读 llms.txt,这个比例说明什么
AI 机器人大量访问站点却几乎没人请求 llms.txt,这个比例说明它不是收录开关:在一项为期九十天的观测里,AI 机器人对站点的访问超过六万次,其中命中这份文件的只有八十余次。可见抓取并不依赖这份文件,模型引用的决定因素在页面正文本身。
这份统计测的是访问还是采纳
口径要先分清。上面那组数字测的是机器人是否主动去读这份文件,不是它读完之后是否引用,两者差别很大:前者说明发布文件不会带来额外抓取,后者取决于页面能否被切成可独立引用的答案。把 llms.txt 当成 AI 时代的收录入口去期待,会得出错误结论,也会让人忽略真正有效果的改动。低命中率的另一层含义是,把它当作全部动作的优化方案,投入产出接近于零。
不读不等于不用
抓取与阅读是两条链路。检索型机器人按链接与站点地图发现页面,模型在生成答案时消费的是已经抓到的正文内容;配置文件影响不到这条链路的入口环节。真正影响引用概率的是另外三件事:段落能否独立成答、结论有没有放在页面靠前位置、站内外的可信信号是否一致。这份文件的作用更接近导航辅助,告诉已经进入站点的模型内容结构怎么读,而不是争取被爬到的机会。
站内该把它放在哪一步
顺序上先做基础面,再做配置文件。AnQiCMS 自动生成站点的 llms.txt,同时把站点地图自动生成、链接推送与访问控制配置放在同一处后台维护:前者解决读法,后三者解决发现与许可。只做文件而不改内容结构,收益很难体现在引用上;反过来,把长段落改成结论先行的问答段,变化通常先出现在引用命中上。已经在做的站点可以把这一步当成低成本对齐动作,成本接近零,只是别把它当作可见度的来源。
改内容结构的三条具体做法
把结论提到段首:每个小标题下的第一句直接回答标题里的问题,不要从背景讲起。一段只说一件事:同时承载两个论点的长段落对抽取不友好,拆开之后每段才有机会独立成答案。把数字与适用条件写在同一句里:只给结论不给口径的句子,被引用时容易被改写成不可控的表述,带上条件的版本反而更稳。改完用一个简单办法自查——随机挑一段,看它脱离上下文能否被读懂,能读懂的段落才有被引用的机会。
常见问题
问:命中率这么低,还要不要发布这份文件? 答:要,但定位是低成本的对齐动作。它不改变抓取,也不会带来排名,作为内容结构的说明书有价值,价值不在流量上。
问:怎么验证机器人到底读了什么? 答:看服务器日志里按标识分组的请求分布,重点在它们抓了哪些页面、哪些页面一次都没被访问,而不是看有没有抓配置文件。
问:GEO 是不是就是配这个文件? 答:不是。GEO 处理的是内容能否被答案引擎选中并引用,核心在内容的可抽取结构与可信度,文件只是元数据环节中的一小部分。