两项 llms.txt 采纳率统计差得很远,该按哪个口径决策
两项 llms.txt 采纳率统计差得很远,做决策时该按哪个口径?都不直接拿来用。两个数都是对的,只是分母不同:一个按头部域名抽样,一个按被收录进数据集的站点统计。要做的不是取中间值,而是判断自己站点更接近哪一类样本,再按口径核对三步决定能不能用它做依据。
两个数字分别怎么来的
按头部域名统计的那份,取的是流量排名靠前的一千个与一万个域名,采纳率分别是百分之九点三与百分之八点三,行业里旅游类最高,达到百分之十六点零。按公开数据集统计的那份覆盖两千三百余个站点,采纳率为百分之四十九点二。
两者的差别有六成以上来自样本范围。头部域名是大公司主导,配置新文件的流程长、法务与品牌审核多;数据集里的站点结构不同,中小型内容站占比更高,配置动作更轻。
同一份数据集还给出抓取侧的两项:百分之三点六的站点在 robots 里拦住了训练类爬虫,而按真实访客身份直接取首页时有百分之十八点八的站点拿不到可用内容。这说明数据集样本本身更偏”抓取行为可观测”的站点,与按排名抽样的口径不同。
分母不同会带来什么
分母决定的是”这个比例回答了谁的问题”。
按排名头部抽样的比例,回答的是”大公司里有多少做了这件事”,适合判断趋势是否被主流采纳。按收录站点统计的比例,回答的是”愿意被这类数据集收录的站点里有多少做了”,样本本身就带自选择偏差:站点被收进数据集,往往意味着它的抓取行为更容易被观测。
一个具体后果是:把两个数直接平均,会得到一个既不代表头部也不代表长尾的数值,而决策恰恰需要知道自己处在哪一端。做技术选型时,比”行业有多少人做”更有用的是”和我同规模、同内容形态的站点做了多少”。
判定方式造成的第二层差
除了分母,判定方式也会拉开比例。
第一层判定是”路径能不能访问”。文件返回正常状态码就算已发布,这会把临时生成的空文件、被 CDN 缓存的旧版本算进去。第二层判定是”内容是否有效”,要求文件里有站点结构与说明,比例会明显低于第一层。
发布时间同样影响读数。九月的研究在文件出现早期取样,十月发布的数据集在多家托管平台默认生成之后取样,两个时点本身就不等价。
下表把两条口径的差别并列出来,方便按自己的位置取数。
| 对照项 | 头部域名研究 | 公开数据集 |
|---|---|---|
| 样本范围 | 流量排名靠前的一千与一万个域名 | 两千三百余个站点 |
| 采纳率 | 百分之九点三、百分之八点三 | 百分之四十九点二 |
| 行业分布 | 旅游类百分之十六点零领先 | 未按行业拆分 |
| 取样时点 | 九月 | 十月二十日发布 |
| 适合的问法 | 头部公司是否已开始配置 | 同规模站点的配置情况 |
读第三方统计的三步核对
第一步,看分母。检查样本是不是按排名、按行业、还是按可抓取性抽取的,只要样本抽取方式和自己站点的类型不同,比例就不能直接引用。
第二步,看判定。确认”算作已采纳”的条件是路径可访问还是内容有效,两份研究用不同判定时,数字没有可比性。
第三步,看时点。这类配置在托管平台默认生成之后会跳变,早于跳变点的读数会低估现状,取数时要优先看更新日期离现在近的那一份。
三步走完仍不能确定时,用可自己验证的指标替代行业比例:把站点侧的日志读取次数、文件与栏目结构的一致性这两项作为判断依据,它们不受别人样本口径的影响。
常见问题
两个数差这么多,是不是有一份算错了? 不能这样判。两者分母、判定条件与取样时点都不同,各自内部是自洽的,问题只出在把它们当成同一口径比较。
我该按哪一个规划投入? 按自己站点所属的那一类:内容型、规模在中段以下的站点,参考数据集类口径更能反映同行;面对头部品牌的竞争时才看域名口径。
能不能两个都用? 可以,但要分开表述用途:一个用来说明趋势是否成立,另一个用来说明同规模站点的实际配置率,不要在同一句结论里混用。