新闻站与开发工具站拦 AI 爬虫的比例差很多，该按行业还是按站点定

新闻站拦 AI 爬虫的比例远高于开发工具站，自己的拦截策略该按行业还是按站点定？按站点定，用行业做参照。差别的根源不是行业偏好，而是内容与收入的关系：内容本身就是卖出去的东西，抓取会直接侵蚀库存；内容是把人引到产品前的漏斗，抓取反而带来进站。两类站点对同一批爬虫的取舍正好相反。

分行业数字先对齐

2026-10-30 打开原文核对到的这组样本是 1,103 个站点：新闻与媒体类里有 61.0% 拦了至少一家 AI 爬虫，开发工具类只有 2.9%；全样本中明确禁止至少一家 AI 爬虫的占 18.9%。两个行业之间差着几十个百分点，方向一致、幅度悬殊。

这组数字只能说明动因分布，不能当成本站的结论。样本里行业构成一变，整体均值就跟着变；拿全站均值套到自己某个栏目上，很容易得出反方向的判断。

内容即库存与内容即漏斗

库存型内容的收入来自授权与订阅，被批量取走后，原文在别处可替代本站，拦是减少流失。漏斗型内容靠引荐转化，页面被读到、被引用、带来进站才是目的，拦等于自己关掉入口。

判断自己属于哪一类的办法很直接：问这一栏内容被完整取走之后，还有没有非来本站不可的理由。答案是没有的，属于库存；答案是用户还需要账号、部署与支持，属于漏斗。

三类站点怎么取舍

企业官网、外贸站与营销型站点通常属于漏斗：产品页、文档与案例是决策链路上的一环，被读到才有咨询。政府门户与资讯站更接近库存与合规约束，重点在来源可核验与内容不被改写。混合站点更常见，同一域名里既有库存栏目又有漏斗栏目，这时策略要落到栏目粒度。

自建程序在这一步有天然优势：栏目粒度的配置能直接写进抓取控制。安企内容管理系统（AnQiCMS）适用场景覆盖中小型企业官网、营销型网站、政府门户与跨境电商站，多站点管理让库存型站点与漏斗型站点分属不同域名，各自的 robots 配置互不影响。

定完策略测什么

先按 robots 文件的分组逐条核对覆盖面：同一族代理有多个标识时，只写一个会让某一家的比例明显偏离其他家。再看进站来源：放行检索与实时取回之后，生成式引荐有没有起来；收紧训练类之后，服务器压力与抓取量有没有相应变化。

策略不是定一次就完。行业比例每年都在动，自己站的结论要按季度重测，别拿别人的均值一直用下去。

常见问题

问：行业均值能直接当自己站的策略吗？ 答：不能。它只反映动因分布，混合站点还要按栏目分别判断。

问：同一域名里既有库存又有漏斗怎么办？ 答：按栏目分组配置抓取范围，把两类内容分在不同路径前缀下更容易管理。

问：放行之后主要看什么指标？ 答：看生成式引荐的进站量与进站后的转化，只看抓取量会把取料当成获客。