AI 爬虫进站点先读哪份规则，robots.txt 和 llms.txt 怎么分工
AI 爬虫进站点先读哪份规则？先读抓取许可，再读概览文件。robots.txt 决定某个抓取代理能不能进、能进哪些目录；llms.txt 决定模型被允许进来之后，用哪份站点概览来组织阅读顺序。第三方对 AI 爬虫访问控制的划分口径与此一致：抓取与访问权限由 robots.txt 负责，模型已在读页面时的路径引导由 llms.txt 负责。两者不在同一层，配了一份不等于另一份也完成。
robots.txt 管的是能不能抓
这一份文件按用户代理分组写允许与禁止规则，模型类爬虫通常有各自的代理标识，因此配置时会出现三种选择：全部放行、只放行用于搜索的抓取、只放行训练与检索之外的场景。判断依据不是技术可行性，而是内容授权口径——同一份文件里，为搜索引擎保留入口和为模型批量抓取保留入口是两类决定。
要留意的两处细节：一是规则对目录生效，若把整站目录禁用，随后单独放开某栏目并不会自动生效；二是改动之后要以真实抓取记录验证，而不是只看文件语法。站内的 Robots.txt 配置负责生成与维护这一层规则。
llms.txt 管的是进来之后读什么
概览文件解决的是「模型不必自己遍历全站」这件事：一份站点名称说明、一段摘要、按主题分组的入口清单。它不提供访问许可，也不改变抓取配额，因此把它当成新的 robots 文件是常见误解。对被 AI 引用的内容来说，它的作用更接近目录页——让模型先找到栏目与代表文章，再决定深入读哪几篇。
站内不需要人工维护这一份文件：llms.txt 可以由系统自动生成，与站点地图、链接推送等能力一起构成 GEO 与 SEO 相关的后台模块集合，这些模块（modules）覆盖抓取许可、清单生成、内容概览等相邻环节。
| 项目 | robots.txt | llms.txt |
|---|---|---|
| 回答的问题 | 能不能抓、抓哪些目录 | 进来之后按什么顺序读 |
| 生效对象 | 抓取代理的访问许可 | 模型代理的概览与入口 |
| 谁来维护 | 站长决定放行范围 | 可由站点自动生成 |
| 常见误解 | 以为放行就一定会被引用 | 以为它能替代抓取规则 |
| 验证方式 | 看真实抓取记录是否出现 | 看概览与实际页面是否一致 |
两份文件的配置顺序
顺序建议是先定权限、再定概览。先明确哪些内容允许模型抓取、哪些只给搜索索引，把结论落到抓取规则里；随后确认概览文件与实际栏目一致，重点栏目要有代表入口。若站点同时做多语言与多品牌，两份文件都要按站点分别核对，避免用主站的规则覆盖分站内容。
第三方对一批站点的长期监测还给出一个现状：十一家里有七家后来允许至少一种 AI 爬虫抓取，发布过概览文件的只有四家。也就是说较多站点只做了许可这一层，概览那一层仍然空缺。
常见问题
放行 AI 爬虫一定会被引用吗？ 不一定。许可只决定能否被抓到，能否被引用取决于内容能否被摘取成独立答案。
只写 llms.txt 行不行？ 不行。没有抓取许可，概览文件本身不会被读到。
改动之后多久见效？ 取决于对方代理的读取频率，更可靠的做法是固定一批问题按月复测，而不是等整体流量变化。
禁止训练类抓取会影响搜索收录吗？ 要分开看：为搜索保留的代理与训练用途的代理是不同标识，规则按分组写就不会互相影响。