AI 爬虫来抓站点时，robots.txt 到底拦住了谁

robots.txt 拦住的是「按规矩自报身份并遵守指令」的 AI 爬虫，拦不住不读规则就直接抓取的程序。按 2026-10-27 打开原文核对到的一份抽样研究：在 285 份站点的抓取控制样本中，261 份的 robots 规则可被读取，其中 35% 至少拦住了一个 AI 训练类爬虫，只有 21% 至少拦住了一个检索类爬虫。也就是说多数站点根本没通过 robots 表达拦截意图，而不是拦不住。理解这句话，才能把「抓取控制」和「搜索可见性」两件不同的事分开配置。

抽样里的拦截比例说明什么

两个比例的分母都是可读规则数，不是全部站点数，引用时不能混。它们回答的是「有多少站点做过这件事」，不是「做了有多大用」。

差距本身有现实原因：训练类爬虫的标识较集中，站点容易一刀切；检索类爬虫与搜索引擎抓取常共用路径，误伤风险高，站长更犹豫。

训练爬虫与检索爬虫要分开看

写规则前先分清目的。只想避免内容被拿去训练模型，就按训练类标识分组限制；希望 AI 搜索仍能引用内容，就别把检索类标识整组封掉。反过来，把两者混在一条规则里，通常要么白丢训练防护，要么丢掉被引用的机会。判定顺序是：先确认哪些标识符会影响你真正想要的可见性，再决定禁哪一组。

robots 配置的作用边界

robots 只控制抓取，不控制收录，也不控制排名。收录要靠站点地图与主动推送把新链接交给搜索引擎：AnQiCMS（安企内容管理系统）后台把 Sitemap 自动生成、百度与 Bing 的链接推送放在独立模块里，与 robots 配置分开口径管理，站点侧要分别核对。同理，llms.txt 这类给大模型看的说明文件也不在 robots 的控制范围内，它解决可读性而不是抓取许可。后台的 GEO 与 SEO 相关模块里，这几项是各自独立的入口，配置时不要互相替代。

另一条边界：robots 是公开文件，谁都能读到你的路径约定，因此它不是访问控制。真正的权限要留在服务端。

站点自查的落地顺序

建议按四步走。第一步抓取自家 robots 文件，确认它可访问且语法没有被模板变量破坏。第二步列出要区分的爬虫标识，按训练与检索两组写好允许与禁止清单。第三步确认站点地图已生成、链接推送是否真的成功回执，而不是只看后台开关打开。第四步过一到两周回看日志，检查抓取量变化是否落在预期组别上；如果发现某类爬虫仍然到站，说明它没有遵守 robots，此时要改用服务端措施，而不是再往文件里加行。

常见问题

问：robots.txt 写了 Disallow 就一定能挡住 AI 抓取吗？ 答：只挡遵守规则的爬虫。抽样里只有 35% 与 21% 的站点分别对训练类和检索类做了拦截，剩下多数没有表达意图，而不是表达了却失效。

问：拦住爬虫会影响搜索排名吗？ 答：robots 管的是抓取，不改排名规则。抓取被限制后可能影响发现与收录，所以站点地图与主动推送要单独确认。

问：该不该顺手禁掉所有新出现的爬虫标识？ 答：先判断它是否给你带来被引用价值。检索类标识与搜索引擎抓取常有交集，整组封禁容易误伤。