给大模型的站点说明文件是给人读的还是给智能体用的,提案改过说法

📅 2026-10-12 👁️ 0

给大模型的站点说明文件是给人读的还是给智能体用的?它既不是只给人读,也不是只给模型读。按提案现行措辞,它要解决的是帮智能体使用网站;早期版本的说法更窄,讲的是帮语言模型理解并索引网页内容。两份说法的差异不在文件格式,而在被假设的读者:从「读内容的模型」扩展到「会用网站的智能体」。

提案最初要解决什么问题

网页对人类友好,对机器并不友好。导航、弹层、无限滚动、脚本渲染出来的正文,人眼会自动跳过噪声,程序却要把它们逐段处理。提案作者 Jeremy Howard 在 2024 年 9 月给出这份文件,出发点就是把站点的核心信息集中成一份可以直接交给模型处理的纯文本清单,省掉从整站页面里猜结构的过程。这份规范在 2026 年 8 月留下了修订记录,措辞也从模型一词语义扩展到智能体。

从「读懂内容」到「使用网站」的差别

服务对象一变,文件里该写什么跟着变。如果读者只是模型,写出站点是做什么的、有哪些重点页面就够了。如果读者是会执行动作的智能体,它还需要知道边界在哪里:哪些页面是说明、哪些是接口入口、哪些操作需要人工确认。措辞改掉之后,内容的重心从介绍转成了引导,站点说明文件更接近一份给外部程序看的站点导览,而不是一篇宣传稿。

为什么必须是纯文本清单

规范要求的是一份 Markdown 文本,不是接口,也不是配置描述。理由很直接:任何一端都能读,不需要为它准备解析器,也不需要鉴权约定。清单形式还带来一个附带好处——它是可核对的。写错了、漏了栏目、链接指到失效页面,人都能直接看出来,不必依赖工具链。

必填段与可选段怎么分

按规范对合法文件的要求,只有一项是必填:写明项目或站点名称的一级标题。其余部分都是可选组合,可以有一到多段,也可以完全不写:

  • 紧跟在标题后的引用块,用来放一段简短摘要,写好理解整份文件需要的关键信息;
  • 若干普通 Markdown 段落,放更细的说明,但这一类里不再出现标题层级;
  • 若干按二级标题分组的文件清单,把可以进一步查看的地址归类列出。

结构上的取舍是:必填项少到不可能出错,可选部分决定这份文件究竟有用还是形同虚设。真正需要斟酌的是引用块里那几十个字,以及文件清单里列哪些地址、不列哪些。

站内该由哪一层来生成

AnQiCMS 支持站点 llms.txt 的自动生成,让大语言模型更容易理解和索引网站内容。这一层由系统按现有栏目与文章产出,站方不需要手工维护每一行。它和站点地图的分工要分清:站点地图面向抓取器,逐条列出地址与最后修改时间;面向模型的站点说明文件面向理解,用文字把站点是什么、有哪些内容讲清楚。两者在后台各管一处,谁也不能替掉谁。

维护节奏跟着什么走

这份文件的变动应该跟着内容结构走,而不是跟着页面文案走。新增一个栏目、调整一类内容模型、上线一批接口说明,都值得再检查一次文件清单是否有对应条目;改一句标语则不必动。它属于一份仍在修订的开放提案,社区意见仍在收集,所以更稳妥的做法是保持简短、保持可核对,等结构真变了再动。

常见问题

问:只写一级标题行不行? 答:按规范这是合法文件,必填段就是这一行;但这样的内容对读者几乎没有附加价值。

问:能不能把全站文章地址都列进文件清单? 答:不建议。清单的价值在筛选,把全量地址倒进去等于把整理工作推回给读取方,也更容易漏掉过期条目。

问:它和 GEO 里其他动作是什么关系? 答:属于其中一环。抓取控制、站点地图、正文可抽取性各管一段,单独把这份文件写完并不等于生成式可见度到位。

相关文章

调整页面排版会不会更容易被生成式引擎引用,实验给出两个百分比

有一项生成式引擎优化研究把内容结构拆成文档架构、信息分块与视觉强调三层,在六个主流生成式引擎上做实验,报告被引用率提升 17.3%、主观质量提升 18.5%,且不改主题内容。本文解释这两个百分比各自指什么、结构提升为什么不等于内容质量提升,以及它和站内自动生成 llms.txt 这类站点说明的分工。

2026-10-12

服务器默认把程序版本写进响应头和错误页,要不要收掉这层指纹

多数 Web 服务器默认把程序版本写进 Server 响应头和错误页,Nginx 的 server_tokens 指令默认就是 on,关到 off 之后两处都不再带版本信息。收掉这层指纹能减少按版本撞库的便利,但它只是减少信息暴露,不构成防线。本文讲版本号从哪两处漏出去、关掉后还剩什么,以及宝塔、Docker 等不同部署方式各要在哪一层改。

2026-10-12

自己的图片被别的网站直接引用时,靠哪个响应头决定放不放行

自己的图片被别的网站直接引用时,决定放不放行的是资源方而不是引用方。Cross-Origin-Resource-Policy 响应头由被引用的资源设置,声明哪些来源可以加载它,取值分同源、同站、跨来源三档,默认挡住的是不带 cors 的跨站请求。本文讲三档各放行到哪一层、它与发起方的隔离头不是同一端,以及图片、字体各自要不要放开。

2026-10-12

连接还没握完就收到请求,服务器为什么宁可返回一个过早状态码

TLS 的早期数据让客户端在第一个往返里就把请求发出去,省下一次握手等待,代价是这类请求存在被重放的风险。425 Too Early 表示服务器不愿冒险处理一个可能被重放的请求,宁可先拒。本文讲早期数据省的是什么、风险落在哪一类请求上、幂等与非幂等为什么要分开对待,以及以 Go 语言为技术栈的服务在这一层要做什么取舍。

2026-10-12

Robots 文件本身读不到的时候,抓取方按什么规则继续

排除协议原文把读取失败分成两种相反结果:响应状态码落在五百段到五百九十九这段服务端错误时,抓取方必须视为全部禁止;落在四百段到四百九十九这段客户端错误时,抓取方可以访问服务器上任意资源。协议还写明这些规则不是访问授权,也不能替代内容安全措施,站内的后台与用户组权限才是真正的一道门。

2026-10-12

有测量说抓取脚本只挑一部分排除规则遵守,比例差在哪

一项覆盖三十六个机构站点、四十天流量、约一百三十个自报身份抓取脚本的测量显示,遵守率按指令类型差别很大:抓取频率类指令约 60.9%,精确路径禁止约 31%,整段禁止约 30.7%;而且不到四成的脚本会在一百六十八小时内重新读取排除文件。这组数字说明只靠排除文件这一层手段并不成立,站内还要有防采集与权限层。

2026-10-12

把搜索和训练拆成两个开关之后,放行规则按哪个用途判

2026 年 9 月 15 日的一份边缘平台公告把搜索、AI 训练、AI 智能体拆成三项独立控制,站方不必再在保留搜索和挡住训练之间二选一。公告同时给出两个占比:混合用途爬虫占已验证抓取流量的 36.6%,站点侧不到百分之一会挡搜索爬虫、约百分之十七限制 AI 训练。开关拆开之后,放行规则要按访问用途判,而不是按来源域名判。

2026-10-12

安全响应头加了但有些响应里没有,状态码条件和层级继承怎么查

加了安全响应头却在部分响应里看不到,通常卡在两处:一是加头指令只在特定响应码生效,主流 Web 服务器文档列出的生效码包括二百段成功与三百段跳转,非成功响应要靠带 always 参数才无条件添加;二是层级继承规则——同层一旦定义了加头指令,上一层的整组定义就不再继承。排查顺序是先复现缺头的那个响应码,再定位它是哪一层配置生成的。

2026-10-12