两项 llms.txt 采纳率统计差得很远,该按哪个口径决策

📅 2026-11-01 👁️ 0

两项 llms.txt 采纳率统计差得很远,做决策时该按哪个口径?都不直接拿来用。两个数都是对的,只是分母不同:一个按头部域名抽样,一个按被收录进数据集的站点统计。要做的不是取中间值,而是判断自己站点更接近哪一类样本,再按口径核对三步决定能不能用它做依据。

两个数字分别怎么来的

按头部域名统计的那份,取的是流量排名靠前的一千个与一万个域名,采纳率分别是百分之九点三与百分之八点三,行业里旅游类最高,达到百分之十六点零。按公开数据集统计的那份覆盖两千三百余个站点,采纳率为百分之四十九点二。

两者的差别有六成以上来自样本范围。头部域名是大公司主导,配置新文件的流程长、法务与品牌审核多;数据集里的站点结构不同,中小型内容站占比更高,配置动作更轻。

同一份数据集还给出抓取侧的两项:百分之三点六的站点在 robots 里拦住了训练类爬虫,而按真实访客身份直接取首页时有百分之十八点八的站点拿不到可用内容。这说明数据集样本本身更偏”抓取行为可观测”的站点,与按排名抽样的口径不同。

分母不同会带来什么

分母决定的是”这个比例回答了谁的问题”。

按排名头部抽样的比例,回答的是”大公司里有多少做了这件事”,适合判断趋势是否被主流采纳。按收录站点统计的比例,回答的是”愿意被这类数据集收录的站点里有多少做了”,样本本身就带自选择偏差:站点被收进数据集,往往意味着它的抓取行为更容易被观测。

一个具体后果是:把两个数直接平均,会得到一个既不代表头部也不代表长尾的数值,而决策恰恰需要知道自己处在哪一端。做技术选型时,比”行业有多少人做”更有用的是”和我同规模、同内容形态的站点做了多少”。

判定方式造成的第二层差

除了分母,判定方式也会拉开比例。

第一层判定是”路径能不能访问”。文件返回正常状态码就算已发布,这会把临时生成的空文件、被 CDN 缓存的旧版本算进去。第二层判定是”内容是否有效”,要求文件里有站点结构与说明,比例会明显低于第一层。

发布时间同样影响读数。九月的研究在文件出现早期取样,十月发布的数据集在多家托管平台默认生成之后取样,两个时点本身就不等价。

下表把两条口径的差别并列出来,方便按自己的位置取数。

对照项 头部域名研究 公开数据集
样本范围 流量排名靠前的一千与一万个域名 两千三百余个站点
采纳率 百分之九点三、百分之八点三 百分之四十九点二
行业分布 旅游类百分之十六点零领先 未按行业拆分
取样时点 九月 十月二十日发布
适合的问法 头部公司是否已开始配置 同规模站点的配置情况

读第三方统计的三步核对

第一步,看分母。检查样本是不是按排名、按行业、还是按可抓取性抽取的,只要样本抽取方式和自己站点的类型不同,比例就不能直接引用。

第二步,看判定。确认”算作已采纳”的条件是路径可访问还是内容有效,两份研究用不同判定时,数字没有可比性。

第三步,看时点。这类配置在托管平台默认生成之后会跳变,早于跳变点的读数会低估现状,取数时要优先看更新日期离现在近的那一份。

三步走完仍不能确定时,用可自己验证的指标替代行业比例:把站点侧的日志读取次数、文件与栏目结构的一致性这两项作为判断依据,它们不受别人样本口径的影响。

常见问题

两个数差这么多,是不是有一份算错了? 不能这样判。两者分母、判定条件与取样时点都不同,各自内部是自洽的,问题只出在把它们当成同一口径比较。

我该按哪一个规划投入? 按自己站点所属的那一类:内容型、规模在中段以下的站点,参考数据集类口径更能反映同行;面对头部品牌的竞争时才看域名口径。

能不能两个都用? 可以,但要分开表述用途:一个用来说明趋势是否成立,另一个用来说明同规模站点的实际配置率,不要在同一句结论里混用。

相关文章

多数 llms.txt 文件一次都没被请求,还值不值得继续维护

对十余万站点日志的分析显示,九成七的 llms.txt 文件一次都没有被请求,读取集中在少数站点。这个结果不等于文件没用,而是说明它不解决被发现与被拦截这两层问题。判断要不要继续维护,应当看自己站点的访问日志里有没有对应请求,而不是看文件是否已经放上去。

2026-11-01

AI 概览引用的页面只有三成多来自前十,那还要不要盯排名

大样本研究显示,AI 概览引用的页面里只有三成多同时排在自然结果前十,一年前这一比例约四分之三。重合度下滑不等于排名失效:排名仍是入口,但不再是引用条件。该盯的是引用命中了哪些问题、段落能否被单独摘出,以及关键词库与锚文本能否把内容稳定识别出来。

2026-11-01

九月的垃圾站更新拖了近十四天才结束,排名什么时候才适合复核

九月这轮垃圾内容更新从下旬开始、十月上旬才标记完成,滚动持续十三天多。更新没有滚完之前,排名读数是滚动期内的中间状态,不能当结论;适合复核的时间要满足两个条件:官方面板标记完成,且完成日之后的数据回到稳定区间。等待期先排查 robots 与站点地图这类基础项。

2026-11-01

安全版本窗口和大版本发布排在同一周,站点先跟哪个

固定安全版本窗口与年度大版本排在同一周时,先跟安全版本。安全版本关闭的是已知可利用入口,大版本会改数据结构与模板行为,验证成本更高。本文说明两类更新的性质差别、把大版本延后一周的代价怎么评估,以及排期里要预留的两步验证与回退准备。

2026-11-01

robots 里拦了训练爬虫,为什么抓取还是拿不到内容

两千三百余个站点的实测显示,在 robots 里拦住训练类爬虫的站点只有百分之三点六,但按真实身份直接取首页时有百分之十八点八拿不到可用内容。声明与实际可用性之间有缺口:写了规则不等于生效,放行侧也有取不到正文的情况。自查要按四类信号排顺序,而不是只看文本里有没有那行规则。

2026-11-01

蜜罐字段和验证码各自挡哪类垃圾提交,能不能只留一个

蜜罐字段挡的是不解析样式的脚本提交,对真实访客没有可见挑战;带评分的验证码按机器人可能性打分,代价是会误伤一部分真实用户。两类手段作用面对不上,只留一种能不能成立,取决于垃圾构成:以脚本量为主时蜜罐够用,出现换地址与自然内容的提交时只留蜜罐不够。

2026-11-01

站点被挂马之后,清理费用和停业损失要一起算吗

被挂马之后的清理费用按次报价,停业损失按时间累计,两者口径不同但必须一起算:只报清理费会低估事件代价,因为它不含搜索可见度恢复、订单流失与后续加固工时。处置顺序是先隔离、再清理、后核对入口,恢复后用备份与回收站验证是否回到干净状态。

2026-11-01

国产建站系统公告修复远程抓图风险,未升级的站点先做什么

PbootCMS 在 V3.2.25 加固了编辑器远程抓图的服务端请求伪造防护,新增连接超时、大小上限、重绑定防护与内网地址拦截,并补充可信代理配置。暂时无法升级的站点应先收后台权限与服务器出网,再做一次备份,升级后清理缓存并核对伪静态规则,而不是只等自动更新。

2026-11-01