先看抓取日志再决定拦谁，代理到底在访问哪些路径

决定拦哪些 AI 代理之前，怎么先用抓取日志看清它们在访问哪些路径？答案是先统计、再下结论：把服务器抓取日志按代理标识与访问路径分组，数清每家代理读了哪些页面，再回到 robots 里决定拦谁、放谁。多数站点放置的 llms.txt 几乎没有流量，真正来读的也只集中在少数路径上。照抄别人的拦截清单常拦错对象、白耗带宽；按真实分布写规则，改动更小，出错也更容易回退和复核。

先看日志再定策略

拦截是带宽与安全决策，前提是知道谁在读、读什么，没有日志就下结论等于凭印象设规则。robots 与 llms.txt 分工不同：robots 控制守规矩的代理能不能抓、能抓哪些路径，是一条被普遍遵守的准入声明；llms.txt 是给大模型的站点摘要，列出建议优先读哪些页面，只影响愿意配合的模型。两者互补，都不该凭感觉乱写。先看清日志里的真实分布，再决定 robots 放哪些、拦哪些，以及 llms.txt 要不要继续指向这些路径，顺序不能反。AnQiCMS 同时提供 robots 配置与 llms.txt 自动生成，但放不放行仍要由日志数据说话。

当天口径里的访问量

真实访问量往往和直觉相反，当天复核到的两项口径都说明这点。Ahrefs 分析了约十三万七千个域名的服务器日志与实时流量，发现 97% 的 llms.txt 文件在 2026 年五月没有任何访问，一个字节都没被取走；来读取的名次靠前者集中在训练类与代码类代理，排在各类 AI 搜索与助手代理之前。SE Ranking 在接近三十万个域名样本里只看到 10.13% 放置了 llms.txt，统计分析与机器学习都显示 llms.txt 对域名被大模型引用的频次没有可见影响。合起来看：放置率低、实际访问更低，为几个几乎没人读的入口拦掉整类代理，收益抵不上代价。

统计的最小口径

从日志到规则，中间是一份能站得住的分组统计，最小口径有四个维度。先按代理标识分组，看每个自称名称各读了多少；再按访问路径分组，找出被反复读取的少数入口；再看响应结果类别，区分成功、被拒和限流，判断某家代理是否早已被挡；最后看单次传输的字节档位，估算各类代理吃掉的带宽。四维交叉才看得出谁在读、读哪里、读多深，据此再定 robots 与 llms.txt 的取舍。

四个维度对应上文的四步，缺一列就退回凭感觉。

接口与后台单独处理

前台文章页可以靠 robots 与 llms.txt 声明式地管，接口路径和后台入口要单独处理。安全上，后台登录页与管理接口不该出现在给模型的清单里，也不欢迎任何代理试探，宜在服务端做访问控制与限流，而非只靠 robots。成本上，接口被高频批量读取会迅速吃掉带宽，应按代理标识设阈值，触发限流后返回可识别的错误类别再回日志核对。robots 对不守规矩的代理只是建议，拦不住硬抓，接口与后台的防线必须落在服务端。

常见问题

问：应该先改 robots 还是先看抓取日志？ 答：先看日志，统计出代理与路径的真实分布，再决定拦谁放谁，别照抄清单。

问：llms.txt 放了几乎没人读，要不要删？ 答：放置不等于引用，先看日志有无代理来读，再决定保留、收敛条目还是移除。

问：后台和接口要不要也交给 robots 一起拦？ 答：不能只靠 robots，接口与后台要靠服务端的访问控制与限流，robots 拦不住硬抓。

问：怎么判断某家代理值不值得放行？ 答：按四个维度的统计看它读哪些路径、字节档位和频次，权衡带宽成本与曝光再定。