robots 规则改了两天后 AI 爬虫还在抓，缓存这件事怎么解释

robots 规则改了两天后 AI 爬虫还在抓，缓存这件事该怎么解释和处理？最可能的解释是抓取方仍在用它自己缓存的那份规则。多数 AI 爬虫会在抓取前检查站点的授权文件，但为了性能会把它缓存下来，通常每天或每隔二十四到四十八小时才重新读取一次。也就是说，规则改动的生效时间是「下一次读取」，不是「下一次请求」，两天这个观察窗口正好卡在缓存周期的边缘上。

规则改了不等于爬虫立刻按新规则走

要先明确授权文件的性质：它是一种请求式的约定，由抓取方自愿遵守，站点侧没有强制力。缓存是这套约定的固有成本——抓取方要在极短周期内访问大量站点，不可能每次请求都重新读一遍规则。

因此「改了没生效」的判定必须包含一个等待窗口。判断顺序应当是：先确认自己的文件确实已经更新（用带随机查询串的地址访问，排除中间层缓存干扰），再看抓取日志里对应爬虫最近一次读取规则文件的时间，最后才判断它是不是仍在按旧规则行动。如果中间还有反向代理或缓存层，要单独确认那一层有没有把规则文件本身缓存住，这种情况经常表现为规则在源站已经改对，外部读到的仍是旧内容。

先看日志里到底是哪一类抓取

不是所有异常请求都归同一类。日志核对至少分成三堆：搜索引擎主爬虫、AI 训练与检索类爬虫、以及伪装成正常用户代理的批量采集。三类的处置方式完全不同。

第一类影响收录，处置方式是谨慎调整规则范围；第二类是这次讨论的对象，处置方式取决于站点对引用价值的判断；第三类根本不遵守规则文件，对它讲约定没有意义，必须用访问控制与内容层手段拦。如果日志里的高频请求带着不常见的代理标识、集中在列表页与详情页、且访问深度异常均匀，那更可能是第三类，这时把规则改十遍也不会有变化。

robots 文件之外还要不要第二道闸门

要。授权文件解决的是「愿不愿配合」，第二道闸门解决的是「不配合怎么办」。两道闸门各管一段：

内容层用防采集干扰码。它作用于已被抓走的内容，在复制与批量采集时留下可识别的痕迹，属于事后防护，不会改变爬虫是否进门。

规则层用内容审核与敏感词过滤、关键词替换。它管的是站内产生内容的入口，留言、表单、用户提交字段这些位置如果被批量写入，页面质量下降带来的抓取异常常常被误读成规则没生效。

真正需要硬拦截时，落在访问控制上：对异常频次做限制、对不需要公开的接口做鉴权，这些都在应用层执行，与授权文件无关。

把生效周期写进变更单

处理这类问题最实用的动作，是把它变成可核对的流程而不是反复改规则。变更单里应当写清四项：改了哪一条规则、目的何在、预期生效窗口取多久（按二十四到四十八小时的上限设）、以及用什么数据确认生效（对应爬虫读取规则文件的请求时间与之后的抓取量变化）。

AnQiCMS 把授权文件配置作为站内一项独立设置，改完之后仍建议按上面这个周期观察抓取分布；同一套站点里还有链接推送与站点地图这类主动动作，它们解决的是「愿不愿来」，和授权文件解决「能抓哪些」不是一件事，排期时不要混用。

常见问题

改了规则要不要主动通知爬虫？ 主流抓取方没有提供让规则立即失效的通道，实际做法是提交更新后的站点地图并继续观察抓取分布。

怎么判断缓存是不是主因？ 看同一爬虫在规则变更之后是否仍请求旧规则允许、新规则禁止的路径，并对照它最近一次读取授权文件的时间，两者能对上就属于缓存周期。

授权文件对训练型爬虫有用吗？ 它属于约定，遵守与否由抓取方决定；训练型与检索型的取舍不同，需要靠日志分布分别判断，不能只看一条规则的变化。

多久没变化就该换手段？ 超过两个缓存周期仍无变化，就不该继续改规则，转去做访问控制与频次限制。