默认拦住训练类和代理类爬虫之后，广告页要复查什么

默认拦住训练类和代理类爬虫之后，广告页要复查什么——先明确这条默认值的边界：流量被拆成检索、训练、代理三类，展示广告的页面默认拦掉训练类与代理类，检索类照常放行，而且这是面向新接入域名的默认取向，不是「一刀切拦住所有 AI 流量」。带广告的站点要复查的是四件事：robots 配置是否与后台开关一致、代理类被拦后有没有误伤正常功能、内容对模型的可读性是否仍然完整、以及多站点场景下各站的策略是否被混在一起管理。

三类流量分别是什么

分类的作用是把过去含糊的「AI 爬虫」拆成目的不同的三类，便于分别放行。

代理类容易被忽略：它的行为像一个替读者来访问页面的程序，拦掉之后某些「由外部代理触发的功能」会安静失效，这是复查里最不好发现的一项。

默认值什么时候变的，管多宽

变更自当年九月十五日生效，作用对象是新接入的域名。这意味着两件事：老域名不会因为平台改了默认值就自动同步，需要自己确认当前配置；同一账号下的不同站点可能分别落在「默认值之前接入」和「之后接入」两种状态，配置看起来不同属正常。排查时不要按「我什么时候改过」来推断，而要按每个域名当前实际下发的规则读数来核对。

另外，默认拦的是「展示广告的页面」这一条件范围，不等于全站。带广告与不带广告的页面可能拿到不同结果，复查时要分别取样，别用首页的结论去推断专题页。

站点侧要复查的四项

第一项是 robots 一致性。Robots.txt 是站点自己声明的入口规则，平台默认值是另一层的控制，两者方向不一致时，实际结果取决于更严的一侧。检查要点是：希望被检索的栏目没有被规则挡掉，训练类是否已经在站点层面就被拦下，避免「平台放开、自己写着拦」这类互相抵消的配置。

第二项是后台开关。多站点场景下，全站级操作应当按站点分别授权，高危能力保持默认关闭、需要时显式开启，不要让一个站的策略继承到另一个站。带广告的站点如果与不带广告的活动页分属不同站点，更要分开设置。

第三项是代理类被拦的影响面。凡是依赖外部程序代读者取回页面内容的功能都要实测一次：分享卡片、订阅抓取、以及第三方接入工具。发现某条链路取不到内容时，先确认它走的是哪一类流量，再决定是否为该路径放开。

第四项是内容可读性与防滥用。让模型能正确理解站点结构，可以按实际内容组织生成 llms.txt，说明板块与入口；同时保留防采集的干扰码机制，避免放开抓取的那一侧被批量搬走正文。这两件事一个负责「被读懂」，一个负责「不被搬空」，不冲突。

常见问题

广告页默认拦训练类，会不会影响被 AI 引用？ 被引用的通路主要靠检索类抓取，检索类仍然放行。若担心影响可见度，可只对训练类单独放开，逐项验证而不是整体放开。

老域名要自己动哪里？ 老域名不继承新默认值，要按当前规则读数逐域核对，重点看 robots 与后台开关是否与预期一致。

怎么判断某个功能是不是被代理类拦截影响了？ 用该类流量的访问特征复现一次，看是否被拒；被拒时先把该路径单独放开做一次对照，确认因果再决定长期策略。