robots 文件改了抓取日志没变化，先核对生效还是核对写法

robots 文件改了抓取日志没变化，先核对生效还是核对写法？先核对生效，再核对写法。写法错了会一直错，但生效没到位时，把写法改三遍也看不到变化，最常见的坑是把”我改了”当成”抓取器读到了”。

先确认改动有没有被读到

robots 配置在后台改完之后，落地要过两道：文件本身是否输出的是新内容，抓取器是否用新的缓存重新读。

第一道自己就能验：直接请求站点根路径下的 robots.txt，看返回的是不是刚写的那版。这里最容易碰到的意外是伪静态或缓存把请求引到旧内容上，也可能改动只存在配置里、还没生成到实际文件。

第二道要等。抓取器读到新指令有延迟，改动当天日志没变化很常见；留出几天再看趋势，比反复改动有效。判断生效与否看趋势不看单条日志，单次抓取记录的差异更多来自任务节奏。

写法上最常见的三处错

• 作用范围写小或写大。按 user-agent 分组的规则只对匹配上的抓取器生效，通用组和具名组同时存在时，读哪一组由抓取器自己的实现决定，改一处不等于全局生效。
• 路径前缀没对齐。指令按前缀匹配，目录结尾要不要带斜杠、大小写是否和真实地址一致，任一处偏差都会让规则落空或扩大。
• 两条规则互相冲突。同一前缀既有允许又有禁止时结果未必如预期，把冲突条目删掉重写比追加一条覆盖更可靠。

顺带检查站点地图地址是否还挂在文件里，很多人改动屏蔽规则时把入口一并抹掉了。

抓取控制和防采集不是一回事

日志没变化还有第三种可能：想解决的根本不是抓取问题。

robots 管的是”要不要来取、能取哪些路径”，它拦不住已经拿到内容的站点再次分发。内容层面的防护走另一套：干扰码在页面里塞入对普通读者不可见、对复制者有害的片段，防采集针对的是拿走动作而不是抓取动作。这两层的验证方式也不同——前者看抓取日志与收录面，后者看页面源码与外部站点上的实际呈现。

多站点部署时，每个站点的 robots 配置独立生效，改主站不会影响分站，验证要逐个站点做。

验证生效要留多久

留出几天到两周再看抓取趋势更接近实际，尤其在大文件量或多站点场景下。中间保持配置稳定，一边改一边看会让因果对不上。

常见问题

改完立刻用抓取记录验证行不行？ 只能验文件输出，验不了抓取器是否已重读，趋势要等。

日志里全是抓取器名字却看不出是谁？ 先按 user-agent 归组统计，再看每组对应的规则块，别只看总量。

robots 禁止了还会被抓取吗？ 禁止是请求而非强制，历史地址与被其他来源引用的入口仍可能出现。