llms.txt 今年出了第二版,加了可发现性写法,它现在算标准吗
它还不是一项标准,只是被广泛采用的约定。提案发布于 2024 年 9 月,v2 在 2026 年 8 月补上了三处:通过链接关系声明的可发现性写法、允许 .md 扩展名、界定子路径覆盖范围,并移除了上下文扩展的语义。规范页自己也写明 llms.txt 不是一项标准,只是「已有大量站点在发布」。
它解决的是什么问题
站点说明文件面向的是大语言模型:把站点结构、重点页面和阅读顺序讲清楚,让模型能更准确地理解和引用内容。它做的是「解释」而不是「许可」,允许不允许被抓取由 robots 决定,希望被覆盖到哪些地址由站点地图交代,三者职责不同。
v2 改了哪几处
v2 的重点不在文件内容,而在「怎么被找到」,并把边界画清楚。
| 版本要点 | 说的是 | 对站内的影响 |
|---|---|---|
| 可发现性写法 | 通过页面链接关系声明指回说明文件 | 模型不必猜地址,多语言目录要分别声明 |
| 允许 .md 扩展名 | 说明文件也可以用 Markdown 扩展 | 命名与静态化路径要一起改 |
| 子路径覆盖 | 一份文件可以只覆盖站点的一个子路径 | 多站点/多语言更适合分区维护 |
| 移除上下文扩展 | 不再规定读取周边页面的语义 | 别把周边读取当成隐式承诺 |
不是标准意味着什么
非标准说明各家实现可以不同,不能假设所有模型都会读它,也不能假设读了就一定按里面的结构理解。它更像一种「可读性投资」,写了能被愿意读的引擎用起来,不写也不会像缺失 robots 那样直接影响抓取许可。站内要按这个尺度排优先级,别为它牺牲抓取控制层的正确性。
站内自动生成时该盯住什么
站内支持自动生成站点说明文件。自动生成后要抽查三件事:说明文件、robots 与站点地图三者口径是否一致,多语言与多站点目录有没有分别交代,是否出现了站点不想被强调的历史归档地址。子路径覆盖的界定让分区维护变简单,但也更容易出现「各分区各写各的」的漂移。
常见问题
问:既然不是标准,要不要写? 值得写。它成本不高,能被愿意读的模型用起来就是加分;但不能替代 robots 与站点地图的职责。
问:可发现性写法是不是必须? 不是必须,但能降低模型猜地址的成本。多站点、多语言目录尤其受益,因为不同子路径的说明文件位置不同。
问:v2 移除上下文扩展会带来什么变化? 意味着周边页面的读取不再是规范承诺的行为。站内别把「模型可能读周边」当成内容组织的前提。