AI 流量分成搜索、训练和智能体三类,默认开关改过之后要不要复查

📅 2026-10-12 👁️ 0

要复查,因为改的是「默认值」。有边缘服务商把 AI 流量分成搜索、训练、智能体三类,并从 2026 年 9 月 15 日起对所有客户(包括免费层)设新默认:搜索类放行,训练与智能体类在含广告的页面上默认阻止,每个站点还能单独设置。只要站点从没手动动过这些开关,行为就会跟着默认值一起变。

三类流量各自要解决什么

三类对应的决定不一样。「被引用」是希望模型在回答里带上站点,属于搜索类;「被拿去训练」是把整站内容喂给模型;「智能体代抓」是让自动化程序代表用户来抓取。允许前者不等于同意后两者,这三件事要分开判。

默认值改的是什么范围

范围是全部客户,含免费层,且按站点粒度设置。这意味着两类站点最容易被忽略:一是完全没配过 AI 相关设置的,行为随默认变了;二是多站点的,每个站要各自核,不能以为主站调了子站就跟着变。

复查时先看哪一层

复查要区分「边缘层的开关」和「站内 robots」两层,两层不能互相替代。

层次 管什么 复查动作
边缘服务开关 三类 AI 流量的放行或阻止默认 按站点逐类确认当前值
站内 robots 哪些地址允许被抓取 核对与边缘策略不矛盾
内容层 说明文件、防采集干扰码 与上面两层口径一致

和站内 robots、干扰码怎么对齐

边缘放行但站内 robots 禁止,实际以抓取规则为准;边缘阻止但站点希望被引用,等于白白关掉机会。所以复查的顺序是:先定业务意图(愿不愿意被引用、被训练),再核对边缘三类开关,最后确认 robots、llms.txt 说明文件与防采集干扰码不与其冲突。允许被引用和允许被批量采集训练是两个不同决定,防采集干扰码守的是后者。llms.txt 面向的是让大语言模型读懂站点结构,它不授予抓取许可,许可仍由 robots 与边缘开关共同决定,别把它当成放行通道。

复查要留一份逐站清单

因为开关按站点粒度设置,多站点、多语言的站要建一张逐站对照表:每个站记录三类流量的当前值、robots 允许范围、干扰码是否启用。默认值再变更时,按表逐站复查一遍,能避免「以为跟着主站一起改了」的漏网。表格里出现不一致,通常是某个站被单独调过,要在上线前对齐。

常见问题

问:默认改成阻止训练,会影响搜索收录吗? 不会直接。搜索类默认是放行,训练类被阻止针对的是拿去训练,两者分开处理。

问:多站点要一个个查吗? 要。开关按站点粒度生效,逐站确认,不能用一个站的设置推断其他站。

问:边缘改了默认,站内还要动吗? 如果业务意图变了才动。边缘层与 robots、干扰码是不同层,要一起对齐而不是二选一,任何一层单独改都可能与另一层打架。

相关文章

llms.txt 今年出了第二版,加了可发现性写法,它现在算标准吗

llms.txt 原始提案发布于 2024 年 9 月,v2 在 2026 年 8 月补上了通过链接关系声明的可发现性写法、允许 .md 扩展名、界定了子路径覆盖,并移除了上下文扩展的语义。规范页明确它仍不是一项标准,只是已有大量站点在发布,各家模型的实现可以不同,站内自动生成时要盯住口径一致。

2026-10-12

IndexNow 的接收方有哪几家,Google 在不在名单里

IndexNow 这类即时通知只对参与方生效,官网列出的接收方是 Microsoft Bing、Naver、Seznam.cz、Yandex、Yep 这几家,Google 不在支持名单内。名单外的引擎只能按自己的抓取节奏发现更新,所以站内仍要把主动推送与站点地图两条通道同时配好,别把即时通知当成全引擎生效。

2026-10-12

百度普通收录的提交配额是按什么给的,提交失败当场能不能看出来

普通收录的提交配额不是一个固定值,平台按站点资源质量与用户喜好程度综合评估,并不定期调整上限;用接口提交后可以直接从返回数据判断是否被受理,不必再登录后台核对。这里把配额的来源、额度用完的表现,以及主动推送与站点地图两条通道的分工讲清楚。

2026-10-12

站点地图单文件最多能写多少条地址,超了要拆几个文件

站点地图单个文件有明确上限,超过约五万条地址或未压缩超过约五十兆就必须拆分,并用一个索引文件汇总;这里说清上限只约束单个文件而不是整站,以及超量之后按栏目还是按时间分片,站内自动生成时怎么确认没漏掉地址。

2026-10-12

有的页面想让 AI 免费抓,有的想收费,按地址路径怎么分开

同一站点内分区域给不同抓取策略是可行做法,有服务商已支持按 URI 模式设置例外,对特定页面提供免费抓取、对其余页面另计。落到站内,思路是把伪静态规则与 robots 都按路径前缀来组织,写清匹配范围与生效顺序,避免例外规则被父目录的规则覆盖。

2026-10-12

静态生成器几秒钟就能建完一个站,还需要带后台的内容系统吗

静态生成器的优势在构建与托管环节,典型站点可以按秒计完成构建;但构建快不等于维护快。当内容结构、栏目、字段要反复调整,或多人持续更新、需要批量导入历史内容时,带后台的内容系统更合适;这里从内容模型、批量导入、模板编辑和适用场景四处对比两条路线。

2026-10-12

站点被写入异常 PHP 文件后,官方排查顺序为什么要先看运行目录

一起 PHP 类内容系统的安全升级公告给出的处置顺序是:先升级到已修复版本,删除运行目录,检查伪静态重写规则,再排查异常文件,并说明问题与历史版本漏洞有关。运行目录之所以要先看,是因为它既是最常见的落点,也最像可再生内容、删掉不伤数据;清完还要确认备份时间早于入侵时间。

2026-10-12

大版本发布前老分支还剩几周安全支持,升级窗口该怎么排

同一时间通常只有少数分支在收安全修复,停支持那天起新漏洞不再有官方补丁。以某内容系统的发布计划为例,安全发布窗口只覆盖特定几个分支,老分支会在新大版本发布那一周结束支持。排升级窗口要倒排:先定停支持日,再留验证与回退时间,窗口里必须做数据备份,并像自家版本升级那样按说明处理登录凭证。

2026-10-12