有测量说抓取脚本只挑一部分排除规则遵守，比例差在哪
有测量说抓取脚本只挑一部分排除规则遵守，比例差在哪，答案是差的不是脚本种类而是指令类型。一份覆盖三十六个机构站点、四十天流量、约一百三十个自报身份抓取脚本的测量给出的差值是：抓取频率类指令的遵守率约 60.9%，精确路径禁止约 31%，整段禁止约 30.7%。也就是说，越接近「请你少来」的规则越容易被听，越接近「这里不许进」的规则越容易被忽略。
这组数字测的是什么
研究对象是在这些站点上自报身份的抓取脚本，判定方式是看它的后续请求有没有落在自己声称遵守的规则之内。这类测量只能覆盖愿意自报身份的那一批程序，匿名或伪装来源不在其中，所以数字要当作行为倾向读，不能当作全站结论。样本跨三十六个机构站点、时间跨度四十天，比单次抓包更能说明规则类型带来的差异。
不同指令类型的遵守率差多少
频率类指令最高，约 60.9%。这类规则的内容是「两次请求之间至少间隔多久」，脚本照做不需要放弃任何数据，成本只是慢一点，所以配合门槛低。整段禁止和精确路径禁止明显更低，分别是约 30.7% 与约 31%。这两类要求脚本放弃一整块内容，收益与代价不对等，遇到没有强制力的约定时更容易被忽略。
| 指令类型 | 脚本要付出什么 | 测量到的遵守率 | 站方该把它当什么 |
|---|---|---|---|
| 抓取频率控制 | 拉长请求间隔，数据照拿 | 约 60.9% | 有一定约束力，适合压抓取压力 |
| 精确路径禁止 | 放弃某一段内容 | 约 31% | 约定为主，不能当访问控制 |
| 整段禁止 | 放弃整个站点 | 约 30.7% | 最容易被忽略的一类 |
为什么重新读取的比例更要紧
同一份测量还给出一个容易被忽略的数字：不到四成的脚本会在一百六十八小时内重新读取这份排除文件。含义是规则改了之后，旧规则在相当一批脚本上继续生效。站方今天收紧一条限制，指望一周内全网生效并不现实；反过来，误写一条排除导致抓取中断，恢复也不会立刻发生。改动前后的观察窗口都要拉长。
把排除文件当单一手段为什么不成立
协议本身就把这套规则定位成抓取约定，而不是访问授权。这组遵守率数据把它的实际效果量化了一遍：约三成到约六成的差距，落在同一份文件里。真要限制某段内容被取走，得叠加别的层。AnQiCMS 在站内提供 robots 配置入口，负责表达抓取意图；防采集干扰码负责在页面输出时加入干扰，让批量采集拿到的正文失真；后台与用户组权限负责挡住不该公开的入口。三层各有各的适用面，缺一层都会留下空隙。
复查抓取日志时看哪三步
第一步分身份：把自报来源与匿名请求分开统计，自报那批的遵守情况才和这组比例可比。第二步看类型：哪些路径在被无视排除规则反复请求，频率类规则有没有真的拉开间隔。第三步看时间：一条规则改动之后，请求量的变化出现在第几天，据此判断重新读取的实际节奏。三步走完再决定是补规则还是换层——多数情况下，反复被无视的路径需要的是权限控制，而不是再多写两行排除条目。
常见问题
问：遵守率高是不是说明这层防护有效？ 答：只说明配合的是自愿的那部分，而且对象是频率类这种低代价规则。高遵守率不等于数据安全。
问：既然整段禁止容易被绕，还要不要写？ 答：要写，它仍会拦住自愿遵守的抓取方，成本也最低。只是不能只写它。
问：改了规则迟迟看不到效果，是不是配置没生效？ 答：先确认服务器返回的是新版本，再考虑重新读取的时间差——多数脚本不会在一百六十八小时内回来重读。