多数 llms.txt 文件一次都没被请求，还值不值得继续维护

大多数 llms.txt 文件一次都没有被请求，那还值不值得继续维护？值得保留，但维护的理由要换一个：这个文件不会自己带来引用，它的意义只有在日志里出现对应请求时才成立。所以对”要不要维护”的正确问法不是文件放没放，而是自己站点的访问日志里有没有人读过它。

零请求是怎么测出来的

这项分析看的是服务器日志而不是页面内容，样本是十余万个站点，统计的是文件被请求的次数。结论是九成七的文件一次都没被请求过，少数产生读取的站点集中在很窄的一批里，其中常见访客是几个已知机器人的抓取行为。

这个数字容易被读反。它说的是”放上去的文件多数没人取”，不是”取过的文件没有效果”。两类问题分开看才有用：有没有被读取，是分发问题；读取之后有没有被引用，是内容匹配问题。

同一批日志研究里还有一个方向一致的信号：AI 概览引用的信源与自然结果前十的重合度已经大幅下滑，说明被引用不靠”位置”，也不靠”多一个文件”。

为什么爬虫不顺着文件读

有三种解释，都能在站点侧自查。

一是入口顺序。抓取通常从站点地图与已有链接发现页面，主动去根目录试探这个文件的只是少数行为，多数抓取路径不会先读它。

二是文件的作用面。它描述的是站点结构与内容摘要，供读取者导航，并不改变能不能抓取的判定。能不能抓由 robots 规则决定，两者是不同层的配置，写了其中一个不会替代另一个。

三是维护成本带来的过时。内容改了、栏目重排了，文件里的路径与摘要还留着旧的，读取者即便取到也不会据此调整。这类文件一旦与站点实际情况不一致，作用就转成负向。

什么情况下维护有意义

判断依据落在日志上，可以按三类处理。

日志里持续出现读取：值得维护，把内容与实际站点结构对齐，改栏目时同步更新。日志里一次都没有、但站点是长文与技术内容为主：保留自动生成即可，不必人工逐条精修，把工时放在段落能否独立成答案上。站点结构与内容口径频繁变动：先解决一致性，再谈维护，否则改一次站点就要改一次文件，收益低于成本。

AnQiCMS 的 llms.txt 是随站点自动生成的，改动集中在”要不要让它始终与当前栏目一致”，不需要单独维护一份副本。副本式的维护最容易出现两个版本不一致的情况。

要复核的是日志不是文件

把复核动作写成四步，成本很低。

第一步，取一段时间窗的访问日志，按文件路径过滤请求，确认有没有读取记录、来自哪些访客。第二步，同一时间窗里核对 robots 规则的放行情况，确认能取到的页面确实能取到，避免文件写了却拿不到正文。第三步，把站点栏目结构与文件里描述的路径逐条对照，不一致的先修正生成逻辑。第四步，隔一到两个月重复前三步，看趋势而不是看单次结果。

这样做的价值不在于”保留一个文件”，而在于把投入放到能被验证的链条上：日志能证明有没有被读，内容能证明被读之后是否可用。

常见问题

零请求是不是说明这个文件该删掉？ 不能直接推。它说明该文件不是被发现的主要入口，删掉不会让情况变差，保留也不会有额外抓取成本，取舍要看维护它要花多少人工。

要不要专门写一份很长的文件内容？ 长度与是否被引用没有对应关系。文件描述结构，正文提供可摘取段落，段落质量决定被引用的机会。

日志里没有读取记录，还要不要管 robots？ 要。robots 决定能不能抓取，这层与文件是否被读取无关，敏感目录与后台路径的放行规则要单独核对。