llms.txt 被称为 AI 时代的站点地图，它和 robots 规则怎么分工

llms.txt 和 robots 规则的分工不同：llms.txt 是给大语言模型读的内容说明，交代站点有哪些主题、哪页值得读；robots 规则声明抓取边界，告诉爬虫哪些能抓哪些不能；站点地图交的是链接清单。按 llms.txt 提案的表述，它与 robots.txt、sitemap.xml 是互补关系而不是替代关系，所谓「AI 时代的站点地图」只是强调它的读者变了，并不是说它能顶替站点地图或 robots 规则的职责。

三个文件各自向谁说话

三者的差别在「说话方式」：llms.txt 是 Markdown 说明文档，模型读它像读目录加摘要；robots 规则是策略声明，读它像读门禁表；站点地图是清单，读它像读货单。把三者混为一谈，就会出现「写了 llms.txt 就以为被 AI 收录」「删了 llms.txt 就以为拦住了模型」这两种误读。

常见误解：llms.txt 不是屏蔽开关

第一个误解是把它当准入控制。llms.txt 按提案放在站点根目录或站内任意路径，作用是让模型更容易读到你希望它读的内容；它本身不声明「不许抓」。真要表达抓取边界，得靠 robots 规则配置。

第二个误解是把它当收录保证。有了 llms.txt，页面仍然要被抓取、被索引、被判定为相关，才会出现在答案里。收录加速仍走链接推送与主动推送，以及站点地图的提交。

第三个误解是把它当全部入口。模型侧的读取路径不止一条：有的直接抓页面，有的通过检索系统召回，有的读站点地图。llms.txt 是「交代清楚」的手段之一，不是其中一条通吃。

配置顺序建议

先定抓取边界。哪些路径不希望被通用爬虫抓，哪些允许，用 robots 规则先写清楚。这一步影响全站，也影响后续所有文件的生效方式。

再交链接清单。站点地图保持自动生成与更新，让新增与修改的页面能被系统及时读到。

最后写内容说明。llms.txt 交代主题结构与重点页面，写法上遵循「模型能用一句话复述」的标准：主题名、页面用途、值得读的理由，避免把营销文案塞进去。

这三步的顺序不能倒过来：抓取边界与链接清单决定机器能不能读到内容，内容说明只决定读到之后理解得好不好。

站点侧怎么落地

手工维护三个文件最容易出错的是更新不及时：内容改了，说明没改，模型读到旧口径。AnQiCMS 的做法是把这几项收在后台同一处：自动生成站点 LLMs.txt 便于大语言模型理解和索引网站内容，Sitemap 自动生成，Robots.txt 在后台配置，链接推送管理支持百度/Bing 主动推送。后台里与 GEO/SEO 相关的能力共 14 个模块，覆盖 llms.txt、robots、站点地图、收录推送、内容翻译、定时发布等，不必靠多套插件拼出一个入口。

伪静态 URL 与 301 重定向要在同一批配置里核对：说明文档里列出的页面地址，必须与实际可访问地址一致，否则模型读到的是清单，抓到的却是跳转。

常见问题

只写 llms.txt 不写 robots 规则可以吗？ 可以运行，但等于放弃了抓取边界的声明，隐私页、结果页、内部页都可能被抓。两者职责不同，建议都配。

llms.txt 要写全部页面吗？ 不要。它更适合交代主题结构与代表页面，页面级链接交给站点地图，否则文件冗长，模型抽不出重点。

换了系统需要重写 llms.txt 吗？ 内容结构不变时只需重新生成。系统自动生成时，重点是核对分类命名与代表页面是否仍与站内一致。