新的默认拦截值只管新接入的域名,老域名要自己动哪一处
平台的新默认拦截值只管新接入的域名,已经在平台上的老域名要自己动哪一处?要动的是抓取控制这一层。默认值不会回头改写既有域名的配置,老域名当前的生效值仍然是接入时那一套,所以第一步不是改,而是逐类确认现状,再决定改不改。
为什么不改老域名也要管
新默认值的取向很明确:被归类为训练类与代理类的爬虫,在展示广告的页面上默认拦截,检索类继续放行。这套处置只对自 2026 年 9 月 15 日起新接入的域名生效。老域名不管它,会出现两个方向的风险:内容型站点以为平台已经默认放开,实际仍是旧的强制拦截;不想被批量取料的站点以为已经拦死,实际训练类仍在抓。两种误判都来自把「平台的新默认」当成「我的当前配置」。
三类分别确认的步骤
先按用途把爬虫分三档:训练类、代理类、检索类。然后对每一档确认两件事,一是平台侧分类开关的当前生效值,二是站内规则有没有覆盖到这一档。两件事的结论要一起记,只看一边都会得出相反判断。
确认顺序建议从站内开始:robots 配置是站长能直接读写的文本层,先确认它按用户组分组的现状;再看平台侧的分类;最后看后台里与抓取相关的模块清单,站内这批与 GEO、SEO 有关的 modules 各自管哪一段,边界清楚了才知道该动哪一个。llms.txt 这类面向大语言模型的出口也要单独确认,它管的是内容怎么被组织,不等于允许被抓取。
和站内既有规则怎么合并
平台规则与站内规则不是替代关系,合并看有三种典型冲突。站内放行、平台强制拦,表现为请求被拒但 robots 文本没有禁止;站内禁止、平台放行,表现为指引不生效但抓取仍发生;两边分组口径不一致,表现为某几家厂商的比例与其他几家明显分开。
自建程序里建议把边界写清楚:robots 文本只表达意图,强制处置交给平台与规则层,两者分组口径保持同名。安企内容管理系统(AnQiCMS)这类后台里,抓取控制与站点地图、llms.txt 分属不同入口,改的时候按入口逐个记录改了什么,避免一次改多处。
改完之后怎么验证
看真实返回状态,不看配置文本。改动之后按三类爬虫分别统计一次请求量与返回状态,改一项测一项。验证要留前后两次记录:只有对照才能说明位移来自这次改动,而不是来自样本构成或平台默认。
如果验证结果与预期不一致,先回到分组口径检查:同一族里有多个标识时,只写其中一个就会出现「改了但没生效」的现象,这类问题不是层级冲突,而是覆盖面不足。
常见问题
问:老域名需要跟着新默认值改吗? 答:先确认当前生效值再决定。新默认值不自动改写既有配置,改不改取决于你的内容变现取向。
问:验证看配置文件行不行? 答:不行。要看三类代理各自的请求量与返回状态,配置文本只能证明写了什么。
问:改了 robots 却没生效,先查哪里? 答:先查分组覆盖面,同族标识是否都写进规则;再查平台与站内两层的方向是否相反。