只有约一成站点装了 llms.txt,这个数能说明它没用吗
只有约一成站点装了 llms.txt,这个采用率数字能不能说明它没用?不能。采用率描述的是「有多少站点这么做了」,效果描述的是「做了之后被引用的概率有没有变化」,这是两条独立的证据链。同期的两项研究给出的数字分别是一成上下与百分之九点三,都只能说明它还没成为通行做法。
采用率数字说明的是什么
一项研究在近三十万个域名里统计,只有 10.13% 放了 llms.txt;另一项按头部域名统计,前一千个域名里有 9.3% 提供该文件,前一万个域名降到 8.3%,行业之间差别明显,旅行类站点最高达到 16.0%。
这组数字能读出的结论是:一是绝对比例低,二是分布极不均匀。低采用率可能来自认知滞后、也可能来自部署成本,跟工具有没有用没有直接关系。把「用的人少」当成「没用」,等于用流行度替代效果评估。
相关性不明显该怎么读
同一批数据里另一条结论是:是否存在 llms.txt 与被 AI 引用的次数之间看不到相关性。这里要注意三点边界。
第一,样本是观察性的,不是对照实验,装了文件的站点本身内容结构、权重与主题都不一样,混杂因素没有被剔除。第二,被读取不等于被引用,引用还取决于检索命中与回答形态,读取环节的贡献在统计上很容易看不见。第三,「没有相关」不等「没有效果」,也不等于有害,它只说明以现有口径测不出差别。
更实用的判断方式:把它当阅读路径
把 llms.txt 归到「让模型理解站点结构」这一层,而不是「提升排名」这一层。它的作用接近于一份给阅读方的目录:站点有哪些板块、重点页面是什么、从哪儿进。AnQiCMS 会自动生成站点 LLMs.txt,编辑不需要手工维护这份摘要,这一步解决的是阅读路径。
访问控制归另一件事:哪些爬虫能进、哪些板块不给读,由 robots 规则与站点自身的权限决定。两者混在一个文件里讨论,就会出现「装了没效果」的错觉——因为读者根本没走到那一步。
用日志和站点地图交叉验证
想知道它有没有被读到,看三条线索:
- 服务器日志里有没有对应的抓取请求,抓取频率与访问的文件路径是什么;
- 站点地图自动生成的收录范围里,是否把这份文件与其他关键页面一并暴露,还是被规则挡在外面;
- 抓取之后有没有延伸到正文页,只命中单个文件与顺着链接读多篇,是两种完全不同的效果。
站点地图负责「被找到」,llms.txt 负责「被读懂」,两者交叉验证才能定位卡在哪一环。如果日志里连请求都没有,那问题不在文件内容,而在可达性与被发现的路径。
常见问题
要不要现在就装? 如果站点结构复杂、板块多,成本很低;如果连基本收录都没解决,先解决收录与站点地图,再谈阅读路径。
装了会不会被当成作弊? 它是给阅读方的说明文件,不属于操纵结果的范畴,判断标准是内容是否与实际页面一致。
多久复核一次? 站点板块有增删就重新生成,配合日志按月看趋势,单周波动不必据此下结论。
没有效果能删掉吗? 可以先保留再观察,删掉之前确认日志里没有对应请求,避免误判为「删了反而更好」。