AI 爬虫按次付费抓内容，站点方要提前准备哪三件事

AI 爬虫按次付费抓取内容，指的不是概念演示而是已经落地的机制：按 Cloudflare 公布的 pay per crawl 模式，发布方可以为自己的内容设定一个单次抓取价格，AI 爬虫再来访问时，服务器用 HTTP 402（需要付费）状态码配合 Web Bot Auth 身份头来协商授权，接受价格即付费取内容，不接受就不抓。对站点方来说，这个模式把”内容被 AI 使用”从被动挨爬变成了有报价单的主动授权，但前提是你要提前准备三件事：把 AI 爬虫的准入规则写清楚、让模型能准确理解你的内容、把正常授权抓取与批量搬运区分开。

按次付费抓取是什么

传统爬虫对内容的使用是先抓后议，站点能做的往往只有全放或全拒。按次付费改变了协商方式：抓取动作本身变成一次可计价、可确认的交易——爬虫带身份来（Web Bot Auth 验证它属于哪个 AI 服务商），站点报出价格（HTTP 402 告知这次访问的条件），双方达成一致才发生内容传输。

站点在这个链条里的控制点有三个：谁能来（身份）、哪些内容可被交易（范围）、什么价格（条件）。三件事都发生在服务器响应层，也就是说，准备动作不是商务谈判，而是先把技术侧的开关和清单配好。

站点要先准备的三件事

第一件，把 AI 爬虫的准入策略显式化。按次付费的协商发生在抓取请求到达之时，而”要不要让这个路径参与协商”应当由站点自己说了算，这个控制层就是 robots：Robots.txt 配置是爬虫进入时的第一道读取项，哪些 User-agent 允许、哪些目录禁读，必须写在明处。默认全开的站等于把所有内容都摆上了货架，谈何定价；建议按内容价值分组，核心资产页与公开引流页设置不同的准入规则，再做付费协商的范围决定。

第二件，给模型准备准确理解内容的说明层。抓取授权解决了”能不能拿”，不解决”拿回去会不会理解错”。AnQiCMS 支持自动生成站点的 LLMs.txt 清单，把站点结构、主要内容板块与口径说明交给大语言模型直接读取，属于 GEO 方向的基础设施。对参与授权的站点来说这层更重要：付费买走内容的模型，如果把你的产品描述理解偏了，错误的引用照样损伤品牌——清单文件让内容在交易前就有正确的解释口径。

第三件，区分授权抓取与批量搬运。付费协商针对的是有身份的 AI 爬虫；不带身份、绕过协商直接成规模拉取整站数据的行为，是传统的采集问题。防采集干扰码正是为此准备的：它保护内容不被批量采集端原样搬走，让”正常授权的单篇抓取”与”整站镜像式搬运”在效果上分开。两类机制各管一段，缺一个都会出现漏洞——只配了 robots 不管干扰码，搬运照旧；只开干扰码不写 robots，正规协商爬虫也可能误伤。

付费抓取与防采集的关系

两者容易被混为一谈，实际方向相反：按次付费是”欢迎有身份的买家，按规则成交”，防采集是”拒绝不请自来的整站搬运”。站在站点侧，它们的共同前提是你能识别请求方是谁、并控制返回什么。因此配置顺序上建议先收紧身份与准入（robots 与状态码策略），再布内容防线（LLMs.txt 说明与干扰码），最后才是价格与商务层面的决定——技术开关没就位之前，任何授权协议都执行不出差异。

多品牌运营的团队还有一层工作：AnQiCMS 的多站点管理支持在一套后台维护多个独立站点，每个域名的 robots 准入与 LLMs.txt 清单要按站点各自维护——付费与授权都是按域名谈的，配置文件不能混用，这也是抓取请求按站点身份处理的原因。

常见问题

Q：现在没有 AI 服务商来谈授权，还要准备吗？ A：要。robots 与清单是日常 SEO 与 GEO 的共用基建，先配好才能在被询价时有可执行的策略，而不是临时全开或全关。

Q：干扰码会影响正常的付费抓取吗？ A：干扰码针对的是绕过协商的批量采集行为，正常授权路径获取的是原文内容；上线后建议用单页抓取抽查一次确认。

Q：HTTP 402 会导致搜索引擎不收录吗？ A：402 只对触发协商的特定爬虫返回，普通用户请求与主流搜索爬虫的响应保持正常；规则改动后要在站长工具观察收录量一周再放行全量。