LLMs.txt 发布后九成文件没人请求,这个数字看的是访问日志吗

📅 2026-11-01 👁️ 0

LLMs.txt 文件发布之后九成以上没有收到任何请求,这个统计看的是访问日志吗?是的,这是服务器访问日志口径,不是爬虫清单也不是引用统计。当天复核到的两项研究各有分工:一项统计了约三十万个域名,看的是「有没有放这个文件」,放了的约占一成;另一项在十余万个站点的自有分析数据里看「放了之后有没有被请求」,结论是九成七的文件没有收到任何访问。两个数字测的不是同一件事,放在一句里就读错了。

两组数字分别测什么

采纳率是外部扫描的结果:程序去请求目标域名的固定路径,返回内容就算有。它回答的是「有多少人在做这件事」,属于生态观察。

被读取率是站点自己日志的结果:在已经放了文件的域名里,按 user-agent 过滤出模型抓取,看有没有出现对该路径的请求。它回答的是「做了之后有没有用」,属于效果观察。

之所以后者更硬,是因为它不靠猜测:抓取行为会在日志里留下真实记录。它也更保守——即便日志里出现了请求,也不等于内容因此被引用。当天复核到的第二项研究里还有一句判断:这个文件目前不影响系统如何看到或引用内容。

日志口径要看哪几列

自查时按三步走。第一步在日志里筛路径,把对该文件的请求单独分出来,注意有些抓取器会请求带斜杠或不带斜杠的两种写法。第二步按 user-agent 分组,把主流模型抓取器与自建爬虫分开统计,才有可读结论。第三步看返回状态,文件存在但返回异常码的,统计上会被算成「有请求但没读到」。

顺序上不要跳过第二步:只看总请求数会把普通用户访问也算进来,得出明显偏高的结论。

放了文件之后要验证什么

放文件本身不是目的,它解决的是「模型怎么理解站点结构」。真正决定能否被读到的是抓取与收录:站点地图要能让新页面被发现,链接推送与主动推送要把发布时间与抓取之间的间隔压短。llms.txt 与这两件事是并列的,不是替代关系。

所以一个合理的自查清单是:文件是否可访问且返回正常、抓取器是否出现在日志里、站点地图是否覆盖了答案页、新页发布后多久出现在索引中。四项里只有一项和这个文件有关。

常见问题

九成七没人请求,还要不要放? 放的成本很低,站内是自动生成,不需要手工维护;但别把它当成可见度的主要手段。

日志里没有请求说明被封了吗? 不一定,可能是抓取器根本没来过,也可能是路径写法或缓存返回不一致,要按三步分别核对。

能不能用它替代站点地图? 不能,两者服务不同的读取方式,收录侧仍以站点地图与推送为准。

相关文章

漏洞库总量一天比一天多,站长该盯总量还是盯新增

总量回答的是生态在扩还是在收,新增回答的是今天有没有和你相关的条目,两者不能互相替代。可执行的做法是:用组件清单把当日新增过滤一遍,只留下与本站相关且版本落在影响区间内的条目,再按能否匿名触发排处置顺序。清单核对可以用接口批量导出,不必人工逐页翻。

2026-11-01

AI 能力进了 CMS 之后,为什么后台也要当成攻击面来管

AI 能力让后台从「看内容」变成「能动手」:一次对话就能写库、改配置、调接口,登录态与接口凭证因此变成高价值目标。管理方式是把免登录接口收成三类口子分别收紧,按能力域设置暴露范围并保留操作审批,同时关注版本层面的安全改动。当前版本修掉的两类高危问题,正好说明后台侧的输入与登录票据都要当成攻击面。

2026-11-01

要接大模型时,用第三方模块还是用自带能力,风险差在哪

两条路线的风险差在密钥与权限由谁持有、能力入口是否受控。第三方模块把模型密钥、写入权限与调用链路打包在扩展里,一旦上游发公告就要跟着批量升级;自带能力把接入点收敛在程序内部,可以按域设置暴露范围、按回合做操作审批。选型要看公告密度与权限边界两项,而不是只看有没有这个功能。

2026-11-01

一GB 内存和二百五十六兆能跑的自建程序差在哪

自建程序的内存门槛差异主要来自运行方式而不是功能多寡:常驻应用服务器与数据库的栈,比单进程运行时加轻量存储的组合更吃内存。当天复核到的口径把两类门槛分得很清楚,选型要按并发、是否多站点共用、扩展是否必需三项来判断,而不是照功能表打勾。内存占用属于官方约数口径,不能读成精确倍数。

2026-11-01

把训练爬虫挡在门外的站点,被 AI 引用的次数掉到什么量级

当天复核到的样本是一千余个域名,拦掉训练爬虫的比例按爬虫分档,从一成七到一成四不等;拦掉检索类抓取器的站点,被引用的次数与不拦的差出两个量级。这不是说该全站放行,而是说按页面类型分级更划算:产品与文档页放行,草稿与低价值归档页拦掉。

2026-11-01

AI 引荐会话只占百分之一却转化更高,两个指标先信哪个

先信转化率,但要用它检验承接能力,而不是直接当扩量依据。当天复核到的口径是:跨万余域名统计,AI 引荐平均只占总会话约百分之一,可引荐访客的转化率却远高于自然搜索来源。份额指标波动大、受入口影响;质量指标更适合做长期基线,先保证少量高意向访客不流失。

2026-11-01

爬虫来抓直接被拒的站点接近一成,先查 robots 还是查服务配置

近一成站点对爬虫返回拒绝状态码,排查顺序是先看服务器配置而不是先改 robots 文件:robots 只是礼貌性指引,返回拒绝码说明拦截发生在服务层。按状态码分组定位是规则、防火墙还是伪静态,再一层层验证,改动一次只动一层,才不会出现改了 robots 而拒绝码照旧的情况。

2026-11-01

同一批站点的质量指标通过率差三成,托管与建站方式各占多少

不同建站平台的真实用户体验指标通过率能差出三成,当天核对到的分平台数据里,托管建站平台普遍高于自由建站程序,全站基线只与最差的主流平台持平。归因上建站方式与主题档位的权重往往大于托管档位,先测真实用户数据再决定动哪一头,才不会把预算花在回报小的那一层。

2026-11-01