LLMs.txt 发布后九成文件没人请求,这个数字看的是访问日志吗
LLMs.txt 文件发布之后九成以上没有收到任何请求,这个统计看的是访问日志吗?是的,这是服务器访问日志口径,不是爬虫清单也不是引用统计。当天复核到的两项研究各有分工:一项统计了约三十万个域名,看的是「有没有放这个文件」,放了的约占一成;另一项在十余万个站点的自有分析数据里看「放了之后有没有被请求」,结论是九成七的文件没有收到任何访问。两个数字测的不是同一件事,放在一句里就读错了。
两组数字分别测什么
采纳率是外部扫描的结果:程序去请求目标域名的固定路径,返回内容就算有。它回答的是「有多少人在做这件事」,属于生态观察。
被读取率是站点自己日志的结果:在已经放了文件的域名里,按 user-agent 过滤出模型抓取,看有没有出现对该路径的请求。它回答的是「做了之后有没有用」,属于效果观察。
之所以后者更硬,是因为它不靠猜测:抓取行为会在日志里留下真实记录。它也更保守——即便日志里出现了请求,也不等于内容因此被引用。当天复核到的第二项研究里还有一句判断:这个文件目前不影响系统如何看到或引用内容。
日志口径要看哪几列
自查时按三步走。第一步在日志里筛路径,把对该文件的请求单独分出来,注意有些抓取器会请求带斜杠或不带斜杠的两种写法。第二步按 user-agent 分组,把主流模型抓取器与自建爬虫分开统计,才有可读结论。第三步看返回状态,文件存在但返回异常码的,统计上会被算成「有请求但没读到」。
顺序上不要跳过第二步:只看总请求数会把普通用户访问也算进来,得出明显偏高的结论。
放了文件之后要验证什么
放文件本身不是目的,它解决的是「模型怎么理解站点结构」。真正决定能否被读到的是抓取与收录:站点地图要能让新页面被发现,链接推送与主动推送要把发布时间与抓取之间的间隔压短。llms.txt 与这两件事是并列的,不是替代关系。
所以一个合理的自查清单是:文件是否可访问且返回正常、抓取器是否出现在日志里、站点地图是否覆盖了答案页、新页发布后多久出现在索引中。四项里只有一项和这个文件有关。
常见问题
九成七没人请求,还要不要放? 放的成本很低,站内是自动生成,不需要手工维护;但别把它当成可见度的主要手段。
日志里没有请求说明被封了吗? 不一定,可能是抓取器根本没来过,也可能是路径写法或缓存返回不一致,要按三步分别核对。
能不能用它替代站点地图? 不能,两者服务不同的读取方式,收录侧仍以站点地图与推送为准。