检索用途的 AI 爬虫请求一年内涨了数倍，站点抓取日志先看哪几列
检索用途的 AI 爬虫请求在一年内涨了数倍：一份 Q3 2026 的统计显示，这类抓取占 AI 爬虫请求的 8.26%，上一季度为 4.05%，去年同期只有 1.32%，而 Googlebot 以 23.80% 的份额居首。看抓取日志时，优先看三列——请求方标识、单位时间频次、返回状态码，它们分别回答”谁来了”“来得多急”“取到了什么”。
占比变化透露的意图迁移
检索型抓取与训练型抓取的行为差别很大。训练型是低频大面积扫描，取完就走；检索型要的是即时内容，来得频繁、目标集中在新鲜页面与具体问题上，因为它的输出会被直接组装进答案里。
占比从百分之一点多升到八成级以下的高点（8.26%），意味着自动化流量里”要现成答案”的部分在扩大。对站点的影响有两面：一面是这类请求可能带来转化质量更高的引用与访问机会；另一面是它对服务器压力更敏感，高频访问会挤占抓取预算，也更容易与批量采集行为混在一起，需要区分对待。
日志三个字段各回答什么问题
| 字段 | 回答的问题 | 异常信号 |
|---|---|---|
| 请求方标识 | 来的是搜索引擎、检索型 AI 还是采集程序 | 标识与请求行为不匹配、伪造常见标识 |
| 单位时间频次 | 同一来源多久请求一次、集中在哪些路径 | 短时段内对同一批页面的高密度重复请求 |
| 返回状态码 | 对方取到的是完整内容、报错还是空页 | 大量异常状态码，或集中命中不存在的地址 |
三列要合起来看。只看标识会漏掉伪装；只看频次会把正常检索当成攻击；只看状态码则看不出是谁在造成压力。
频次这一项特别值得强调：总量本身说明不了问题，某个来源在异常时段的高频段落更能说明它在做什么。建议按”来源 × 小时”聚合，而不是只看日总量。
识别出批量采集后怎么处置
先分性质。合规的检索型抓取会带来可见度，处置方式应当是控制节奏而不是拒绝；批量搬运则不同，它取走内容且不带来任何回流。
针对搬运，站内可用的手段包括 robots.txt 配置作为第一道表达意愿的闸口——需要注意这只是约定，是否遵守由抓取方决定；对可达内容，AnQiCMS 内置防采集干扰码，用于保护内容不被批量采集，其作用对象正是把整段内容原样搬走的行为，加在正文输出里对正常阅读影响有限，对机器批量提取则破坏可用性。需要更强控制时，在接入层按来源与频次设置限速或拦截。
处置顺序建议保守：先记录与确认性质，再限速，最后才是完全拦截，避免把带来流量的检索来源一起挡掉。
常见问题
问：日志里标识多的字段可以完全相信吗？ 答：不可以。标识是请求头自报的，容易伪造。判断前先核对访问路径与行为特征，必要时反查来源地址段是否与所声称的抓取方一致。
问：多久看一次抓取日志合适？ 答：日常按周聚合看趋势，遇到流量异常、收录波动或上线新拦截规则时改为逐日看，重点比对改动前后同一来源的频次变化。
问：检索型 AI 抓取的量应该单独统计吗？ 答：建议单列。它们要即时内容，与新发布页面的抓取时效相关，混在总访问量里会看不出内容发布后被引用的真实机会。