有的页面想让 AI 免费抓，有的想收费，按地址路径怎么分开
想对同一站点里的不同页面给不同抓取策略，靠的是按地址路径设例外。有服务商已支持用配置规则按 URI 模式关闭按次抓取，对站点的特定页面提供免费访问、对其余页面另计。落到站内，同一份路径规划要同时体现在伪静态规则与 robots 里，并且例外要写清匹配范围和生效顺序。
为什么要按路径分开而不是整站一刀切
一刀切会把「愿意被引用」的内容一起挡掉。说明类、目录类、公开帮助页通常希望被模型读到、被引用，而会员专区、后台预览、未发布内容不想被抓。这两类混在一个整站开关下只能取其一，按路径分开才能各给各的策略。
按 URI 模式做例外怎么写
例外规则的关键是匹配范围要精确、生效顺序要明确。先写更具体的路径例外，再让它优先于父目录的通用规则；否则会出现子路径写了「免费」却被上层「阻止」覆盖。要按路径前缀组织，让「谁包含谁」从目录结构上就能读出来。
哪些路径该留成免费
面向外部解释站点、组织内容的路径适合保持开放：站点说明、栏目索引、公开帮助与接口文档这类。反过来，草稿预览、待发布内容、回收站里的地址不进抓取范围，这类既不该被引用也不该被抓。留免费的是「希望被读到」的，不是全站公开可见就等于要被抓。
站内规则层的先后顺序
站内的伪静态规则管理负责地址怎么改写，robots 负责哪些地址允许被抓，两者都按路径前缀写才不打架。规划顺序是：先定路径口径（同一内容只有一个最终地址），再在 robots 按前缀设允许与禁止，最后核对伪静态改写后的地址和规则里的地址一致。顺序反了容易出现规则命中不到真实地址。按前缀组织的另一个好处是可读——目录一列出来，哪片开放、哪片收紧一目了然，复查时不用逐行猜意图。
例外写多了要防互相遮蔽
路径规则越叠越多，越容易出现父子、兄弟前缀互相覆盖。稳妥做法是给每条例外标注它覆盖的范围与优先级，定期回看有没有被更上层规则吃掉。改一次规则就抽查一次目标地址，比攒到出问题时再回头找要省力得多。
常见问题
问：子目录设了免费，为什么没生效？ 多半是被父目录的通用规则覆盖了。例外要更具体并优先命中，检查生效顺序而不是只看有没有写。
问：按路径分开和整站 robots 矛盾吗？ 不矛盾。robots 本来就支持按路径写允许与禁止，按前缀组织正好对应分区策略，反而更好维护。
问：草稿预览页能不能被抓？ 不该。它属于未发布内容，可见性要单独界定，别混进允许抓取的前缀里，也别指望伪静态能替它把关。