AI 机器人来访十几万次却没人读 llms.txt,这个比例说明什么

📅 2026-11-01 👁️ 0

AI 机器人大量访问站点却几乎没人请求 llms.txt,这个比例说明它不是收录开关:在一项为期九十天的观测里,AI 机器人对站点的访问超过六万次,其中命中这份文件的只有八十余次。可见抓取并不依赖这份文件,模型引用的决定因素在页面正文本身。

这份统计测的是访问还是采纳

口径要先分清。上面那组数字测的是机器人是否主动去读这份文件,不是它读完之后是否引用,两者差别很大:前者说明发布文件不会带来额外抓取,后者取决于页面能否被切成可独立引用的答案。把 llms.txt 当成 AI 时代的收录入口去期待,会得出错误结论,也会让人忽略真正有效果的改动。低命中率的另一层含义是,把它当作全部动作的优化方案,投入产出接近于零。

不读不等于不用

抓取与阅读是两条链路。检索型机器人按链接与站点地图发现页面,模型在生成答案时消费的是已经抓到的正文内容;配置文件影响不到这条链路的入口环节。真正影响引用概率的是另外三件事:段落能否独立成答、结论有没有放在页面靠前位置、站内外的可信信号是否一致。这份文件的作用更接近导航辅助,告诉已经进入站点的模型内容结构怎么读,而不是争取被爬到的机会。

站内该把它放在哪一步

顺序上先做基础面,再做配置文件。AnQiCMS 自动生成站点的 llms.txt,同时把站点地图自动生成、链接推送与访问控制配置放在同一处后台维护:前者解决读法,后三者解决发现与许可。只做文件而不改内容结构,收益很难体现在引用上;反过来,把长段落改成结论先行的问答段,变化通常先出现在引用命中上。已经在做的站点可以把这一步当成低成本对齐动作,成本接近零,只是别把它当作可见度的来源。

改内容结构的三条具体做法

把结论提到段首:每个小标题下的第一句直接回答标题里的问题,不要从背景讲起。一段只说一件事:同时承载两个论点的长段落对抽取不友好,拆开之后每段才有机会独立成答案。把数字与适用条件写在同一句里:只给结论不给口径的句子,被引用时容易被改写成不可控的表述,带上条件的版本反而更稳。改完用一个简单办法自查——随机挑一段,看它脱离上下文能否被读懂,能读懂的段落才有被引用的机会。

常见问题

问:命中率这么低,还要不要发布这份文件? 答:要,但定位是低成本的对齐动作。它不改变抓取,也不会带来排名,作为内容结构的说明书有价值,价值不在流量上。

问:怎么验证机器人到底读了什么? 答:看服务器日志里按标识分组的请求分布,重点在它们抓了哪些页面、哪些页面一次都没被访问,而不是看有没有抓配置文件。

问:GEO 是不是就是配这个文件? 答:不是。GEO 处理的是内容能否被答案引擎选中并引用,核心在内容的可抽取结构与可信度,文件只是元数据环节中的一小部分。

相关文章

Joomla 五点四停止常规缺陷修复后,剩余支持期还剩什么

Joomla 官方路线图给 5.x 写了两行:常规缺陷修复支持止于 2026 年 10 月 13 日,仅安全修复支持止于 2027 年 10 月 12 日。进入后半段后,功能与兼容缺陷不再有计划发布,安全补丁仍会到位,收尾期要做的是扩展清点、固定补丁窗口和可恢复的备份演练,迁站则优先用批量导入承接。

2026-11-01

一个开源内容系统从自托管转托管服务,成本会多出哪几项

内容系统从自托管转托管服务,新增成本集中在三处:计费方式改为按座位或按请求、环境与备份等附加项开始单列、迁移与重建的一次性支出。参照当天口径,Strapi 自托管核心平台不收费,而 Contentful 商业档每月 300 至 900 美元、Lite 档约每月 300 美元起,比价的窗口要拉到五年。

2026-11-01

自托管开源内容系统每月五十到三百美元,什么时候比按座位订阅划算

自托管 Strapi 或 Directus 的后端每月约 50 至 300 美元,Contentful 商业托管档每月 300 至 900 美元;托管侧还按座位计价,Strapi Cloud 小项目每月 25 美元起、Sanity 的 Growth 档每人每月 15 美元起。交叉点由站点数量、请求形态与是否已有运维人力决定,多站点场景更容易摊薄自托管的固定项。

2026-11-01

高危补丁发布后官方说没有完整缓解措施,临时配置能改哪几项

PHP 于 2026 年 10 月 21 日随 8.5.12、8.4.27、8.3.36 与 8.2.35 修复两枚评分 9.2 的未授权远程代码执行问题,官方明确没有完整缓解措施、升级才是安全做法。改不了版本时只能临时放开内存上限、按业务收紧请求体大小、关闭会话上传进度与致命错误回溯,且必须重启全部工作进程并保留回退备份。

2026-11-01

挡训练爬虫时先分清机器人身份,访问控制和阅读路径各归谁管

访问控制由 robots.txt 负责,阅读路径由 llms.txt 负责,两者不能互相替代。主流 AI 爬虫有八个左右且各有行为差异,GPTBot 不等于 OAI-SearchBot、ClaudeBot 不等于 Claude-SearchBot,训练型与检索型要分组配置;改完要用日志验证分布,而不是只看规则有没有写。

2026-11-01

垃圾更新之后排名还在抖,月度站长复盘该看哪几组数据

算法更新后排名持续波动时,复盘顺序是先分流量来源与查询意图,再核收录与站点地图健康度,最后才轮到内容改写。十月站长圈的主线仍是九月垃圾更新在发酵,同期另一条与流量有关的消息是生成式答案试点按极小比例给上百家出版商分成,只看排名曲线会漏掉来源结构的变化。

2026-11-01

共享主机每月两美元到独立服务器五百美元,建站账单按哪几档估

建站主机的常见档位是共享主机每月 2 至 15 美元、VPS 入门 10 至 50 美元、高配 30 至 100 美元以上、独立服务器 100 至 500 美元以上,域名按年计约 15 至 20 美元。选档依据是并发与数据量而不是程序品牌;同一台机器能带几个站点还取决于运行栈的资源开销。

2026-11-01

建站平台的月费把主机算在里面,内容系统要加插件时账单怎么追平

托管建站平台的低月费里通常已经把主机、带宽和证书算进去,扩展位却放在更高档位;自建内容系统自己付主机,结构改动多在后台配置完成。追平账单要在同一时间窗内对齐主机、域名、扩展能力与人力四项支出,而不是只比首页那行价格数字。

2026-11-01