页面上有没有广告，会不会改变 AI 爬虫能不能读到内容

页面上有没有广告，会不会改变 AI 爬虫能不能读到这页内容？会。新的平台默认值把「页面是否展示广告」当成了判定条件之一：被归类为训练类与代理类的爬虫，在带广告的页面上默认被拦，检索类继续放行。也就是说，同一篇正文挂在不同模板下，能不能被读到可能是两个结果，而这层判定并不写在 robots 文件里。

判定条件里为什么有广告

这条规则的取向是把内容当成变现资产：页面靠广告挣钱，而训练类爬虫批量取料后不再带回访客，平台就先默认挡住。检索类不同，它取回的内容最终会指向来源，属于另一类用途，所以默认放行。判定发生在平台侧的分类层，用的不是文本匹配，而是页面特征加爬虫分类两个条件共同决定。

对站长的直接影响是：内容可见度不再只由自己写的规则决定，还取决于页面模板里有没有广告位。文档页与文章页用两套模板的站点，最容易在两个月里出现「一部分页面被读到、一部分读不到」。

三类爬虫的默认处置

训练类取料是一次性大批量抓取，默认拦；代理类是替用户实时取回内容的那一批，同样默认拦；检索类负责把页面组织进可引用的索引，默认放行。三类各自的默认值只作用在新接入的域名上，已有域名的当前生效值要自己确认。

需要说明的一点：robots 文件里没有这一层规则。文本指引写不出「带广告就拦、不带广告就放」这种条件，靠 robots 表达这个意图不会生效，真正的处置发生在分类层。

同一站点内会不会出现两套结果

会，而且这是最容易漏的情况。常见的三种不一致：栏目模板带广告而专题模板不带；落地页不带广告、正文页带；静态化后的页面与动态页面用了不同模板。三种情况下，同一份内容对不同爬虫的可见度不一样，报表上会表现为某一家爬虫的请求量突然分层。

排查时按模板分组，而不是按栏目分组。先看哪几类页面带广告位，再看这些页面对三类爬虫各自的返回状态，两套信息对上才能确认是不是默认值在起作用。

要让内容被读到该核对哪一处

一是平台侧的分类开关，确认训练类、代理类、检索类当前的生效值，以及这条默认值有没有作用到自己的域名。二是 robots 配置，让文本指引与分类层的处置方向一致，别出现一边放行一边强制拦。三是面向大语言模型的出口，llms.txt 与 GEO 相关的可见性口径单独确认，判断内容是不是按期望被组织与引用。

改完一次只动一处，然后回看抓取记录：按三类爬虫分别统计请求量与返回状态，才能确认改动落在哪一层。

常见问题

问：把广告关掉就能被训练类读到吗？ 答：方向上成立，但要先确认这条默认值是否作用在自己的域名上，以及分类层当前生效值是什么。

问：robots 文件能表达这种条件吗？ 答：不能。带不带广告的判定发生在平台分类层，robots 写不出这个条件。

问：同站不同页可见度不一致怎么定位？ 答：按模板分组看返回状态，带广告与不带广告的模板各自统计一次，比按栏目分组更快。