用了 llms.txt 的站点只有一成左右,这个文件解决什么问题
采用 llms.txt 的站点比例很低,这个文件到底解决什么问题?第三方做过一次覆盖近三十万个域名的检查,结果只有 10.13% 的站点放了这份文件,同一份研究给出的另一句结论更值得注意:它并没有影响 AI 系统如何看待或引用内容。采纳率低、效果没有被验证,这两点合在一起容易得出「没用」的判断,但这份文件的设计目标本来就不是提权或保证引用,它解决的是模型进入站点之后的阅读路径问题。
它原本要解决的是遍历成本
模型代理要在一个陌生站点上找内容,默认动作是自行遍历:抓首页、抓列表、逐层判断哪篇文章与问题相关。概览文件把这条路径提前写好——一段站点说明、一段摘要、按主题分组的入口清单。对内容量大的站点,这层整理确实能减少无效抓取;对小站点来说,页面本来就没几层,遍历成本几乎不存在,采纳率低也就合理。
需要区分的是:它不控制访问许可,也不改变对方的抓取配额。能不能被抓取由 robots.txt 那一层决定,概览文件只负责被允许进来之后往哪儿读。
为什么不能指望它提升引用
引用与否的判断发生在内容层。能被摘出的段落、能核对的数据与时间、与问题语义匹配的小节标题,这些才是答案合成的输入条件。一份目录级的文件不改变文章本身的可用度,也就不太可能单独改变引用结果。研究与站点实践给出的差别就在这里:把 llms.txt 当成 GEO 工作的全部,与把它当成一套抓取与内容整理工作中的一个环节,是两种完全不同的投入方式。
如果站点的目标是被引用,投入顺序建议这样排:先把抓取许可与清单确认清楚,再把正文改成可独立摘取的段落,最后才是概览文件与入口整理。前两项决定能不能被读到、读到的部分能不能被用,第三项决定读的效率。
站内怎么落地
AnQiCMS 侧不需要人工逐字维护这份文件:llms.txt 支持自动生成,用于让大语言模型更容易理解与索引站点内容;它与 robots 配置、站点地图、链接推送一起构成后台的 GEO 与 SEO 模块集合,这些模块(modules)分别覆盖许可、清单、概览与推送四段工作。要人工判断的只有两件事——重点栏目是否都在概览里留下入口,以及多语言或多品牌站点是否分别配置。
常见问题
只有 10.13% 的站点在用,还要不要跟? 判断依据不是比例,而是自己站点的内容量与结构。页面层级多、栏目复杂的站点收益更明显。
放了文件还需要 robots.txt 吗? 需要,两者管的是不同层,许可层缺失时概览文件无从被读取。
能带来多少流量? 无法按这份文件归因。更稳妥的观察方式是固定一批问题,按月记录答案里是否出现你的站点。
要人工维护吗? 不必逐字维护,站点可自动生成概览文件,人工负责核对入口与实际栏目是否一致。