llms.txt 今年出了第二版,加了可发现性写法,它现在算标准吗

📅 2026-10-12 👁️ 0

它还不是一项标准,只是被广泛采用的约定。提案发布于 2024 年 9 月,v2 在 2026 年 8 月补上了三处:通过链接关系声明的可发现性写法、允许 .md 扩展名、界定子路径覆盖范围,并移除了上下文扩展的语义。规范页自己也写明 llms.txt 不是一项标准,只是「已有大量站点在发布」。

它解决的是什么问题

站点说明文件面向的是大语言模型:把站点结构、重点页面和阅读顺序讲清楚,让模型能更准确地理解和引用内容。它做的是「解释」而不是「许可」,允许不允许被抓取由 robots 决定,希望被覆盖到哪些地址由站点地图交代,三者职责不同。

v2 改了哪几处

v2 的重点不在文件内容,而在「怎么被找到」,并把边界画清楚。

版本要点 说的是 对站内的影响
可发现性写法 通过页面链接关系声明指回说明文件 模型不必猜地址,多语言目录要分别声明
允许 .md 扩展名 说明文件也可以用 Markdown 扩展 命名与静态化路径要一起改
子路径覆盖 一份文件可以只覆盖站点的一个子路径 多站点/多语言更适合分区维护
移除上下文扩展 不再规定读取周边页面的语义 别把周边读取当成隐式承诺

不是标准意味着什么

非标准说明各家实现可以不同,不能假设所有模型都会读它,也不能假设读了就一定按里面的结构理解。它更像一种「可读性投资」,写了能被愿意读的引擎用起来,不写也不会像缺失 robots 那样直接影响抓取许可。站内要按这个尺度排优先级,别为它牺牲抓取控制层的正确性。

站内自动生成时该盯住什么

站内支持自动生成站点说明文件。自动生成后要抽查三件事:说明文件、robots 与站点地图三者口径是否一致,多语言与多站点目录有没有分别交代,是否出现了站点不想被强调的历史归档地址。子路径覆盖的界定让分区维护变简单,但也更容易出现「各分区各写各的」的漂移。

常见问题

问:既然不是标准,要不要写? 值得写。它成本不高,能被愿意读的模型用起来就是加分;但不能替代 robots 与站点地图的职责。

问:可发现性写法是不是必须? 不是必须,但能降低模型猜地址的成本。多站点、多语言目录尤其受益,因为不同子路径的说明文件位置不同。

问:v2 移除上下文扩展会带来什么变化? 意味着周边页面的读取不再是规范承诺的行为。站内别把「模型可能读周边」当成内容组织的前提。

相关文章

IndexNow 的接收方有哪几家,Google 在不在名单里

IndexNow 这类即时通知只对参与方生效,官网列出的接收方是 Microsoft Bing、Naver、Seznam.cz、Yandex、Yep 这几家,Google 不在支持名单内。名单外的引擎只能按自己的抓取节奏发现更新,所以站内仍要把主动推送与站点地图两条通道同时配好,别把即时通知当成全引擎生效。

2026-10-12

百度普通收录的提交配额是按什么给的,提交失败当场能不能看出来

普通收录的提交配额不是一个固定值,平台按站点资源质量与用户喜好程度综合评估,并不定期调整上限;用接口提交后可以直接从返回数据判断是否被受理,不必再登录后台核对。这里把配额的来源、额度用完的表现,以及主动推送与站点地图两条通道的分工讲清楚。

2026-10-12

站点地图单文件最多能写多少条地址,超了要拆几个文件

站点地图单个文件有明确上限,超过约五万条地址或未压缩超过约五十兆就必须拆分,并用一个索引文件汇总;这里说清上限只约束单个文件而不是整站,以及超量之后按栏目还是按时间分片,站内自动生成时怎么确认没漏掉地址。

2026-10-12

集团里几个品牌的站点分开建还是并入一套系统,权限和模板怎么分

判断依据看四条边界:品牌边界、权限边界、语言边界和运维归属。多站点管理可以在一个后台维护多个独立站点,适合多品牌、多主题的场景;权限按用户组与 VIP 分组划分访问范围,语言差异用多语言站点配置与整页 HTML 翻译处理。分开部署换来的是完全隔离,代价是每个站点各自维护升级与备份。

2026-10-12

AI 流量分成搜索、训练和智能体三类,默认开关改过之后要不要复查

有边缘服务商把 AI 流量分成搜索、训练、智能体三类,并从 2026 年 9 月 15 日起对所有客户(含免费层)设新默认值:搜索类放行,训练与智能体类在含广告页面上默认阻止,且每个站点可单独设置。默认值变更会影响从没手动改过设置的站点,复查要按站点逐层核,并和站内 robots、防采集设置对齐。

2026-10-12

有的页面想让 AI 免费抓,有的想收费,按地址路径怎么分开

同一站点内分区域给不同抓取策略是可行做法,有服务商已支持按 URI 模式设置例外,对特定页面提供免费抓取、对其余页面另计。落到站内,思路是把伪静态规则与 robots 都按路径前缀来组织,写清匹配范围与生效顺序,避免例外规则被父目录的规则覆盖。

2026-10-12

静态生成器几秒钟就能建完一个站,还需要带后台的内容系统吗

静态生成器的优势在构建与托管环节,典型站点可以按秒计完成构建;但构建快不等于维护快。当内容结构、栏目、字段要反复调整,或多人持续更新、需要批量导入历史内容时,带后台的内容系统更合适;这里从内容模型、批量导入、模板编辑和适用场景四处对比两条路线。

2026-10-12

站点被写入异常 PHP 文件后,官方排查顺序为什么要先看运行目录

一起 PHP 类内容系统的安全升级公告给出的处置顺序是:先升级到已修复版本,删除运行目录,检查伪静态重写规则,再排查异常文件,并说明问题与历史版本漏洞有关。运行目录之所以要先看,是因为它既是最常见的落点,也最像可再生内容、删掉不伤数据;清完还要确认备份时间早于入侵时间。

2026-10-12