站内内容不想被整页搬走时，拦截发生在抓取层还是展示层

站内内容不想被整页搬走时，拦截发生在两层：抓取层由 Robots 文件表达，影响的是愿意遵守规则的抓取方能否访问某些地址；展示层是防采集干扰码，作用于已经读到页面的批量采集，让整页搬走的内容不再是直接可用的成品。两层不是替代关系，配置位置与生效时机都不同，只设一层会留下明显的缺口。

抓取层管的是来不来

Robots 文件写的是站点对抓取方的意愿：哪些路径不必来抓、哪些目录不要碰。它的性质要先说清——按该协议说明页的表述，robots.txt 是一项 de-facto standard（事实标准），不属于任何标准组织，且该标准不再活跃发展。也就是说它靠抓取方自愿配合，不是访问控制。

这决定了抓取层的适用边界：正规搜索引擎与规范的爬虫会读它并按规则安排抓取；不读这个文件的采集脚本不受影响。把敏感内容仅靠 Robots 目录“藏起来”是常见误用，路径写在那里反而相当于公布地址。真需要限制访问的内容要用权限与分组，不属于这一层。

站内 Robots 配置在系统设置里维护，改动后要注意与站点地图、伪静态规则三处口径一致，避免出现“清单里给了地址、Robots 又写不要抓”的自相矛盾。

展示层管的是拿走能不能直接用

干扰码走的是另一条路。它不拒绝请求，而是在输出内容里做处理：正常读者看到的是完整页面，批量采集拿到的内容可能缺少、错位或夹带无关字符，整理成本被抬高到不划算。

这类处理针对的实际风险是“内容到了页面上被人整页搬走”，因为它面对的是已经突破或不理会抓取层规则的对象。判断依据很朴素：愿意遵守抓取规则的对方，抓取层就够了；不给内容就会被成批复制的栏目（题库、报价、政策条款、原创长文），才需要展示层这层保护。

站内把干扰码作为独立的安全设置维护，可按站点开启与调整，属于保护内容不被批量采集的能力，而不是用来降低页面质量的开关。

两层为什么不能互相替代

两层的差别可以按四个问题对照：作用对象（守规矩的抓取方，对已到页面的采集行为）、生效时机（抓不抓，抓走之后能不能直接用）、能否被绕过（取决于对方是否遵守，取决于输出内容的组织方式）、维护位置（一份文件规则，一处安全设置）。

只用 Robots 的结果，是不守规矩的采集照样整页拿走；只用干扰码的结果，是本来不必发生的抓取仍然消耗站点资源，且正规抓取方失去了明确的边界指引。两层同时保留，才是把“减少无效抓取”和“保护内容不被直接用”分开处理。

站内分别在哪一处配置

日常运营里可以按这个顺序检查：

• 先定内容可见范围：VIP 分组与用户组权限管的是需要限制访问的内容，不属于公开页面的保护；
• 再写 Robots 规则：把不该抓的目录列清楚，同时确认这些目录里没有需要保密的数据；
• 然后开干扰码：对原创、长文、结构化数据这类高价值栏目启用，观察正常读者与搜索引擎的抓取是否受影响；
• 最后留证据入口：在站点说明与模型可读摘要里写明内容归属，配合署名与联系方式，被搬走时更容易主张来源。

常见问题

开了干扰码会影响搜索引擎收录吗？ 针对的是批量采集时对输出内容做处理，配置时应关注正常读者看到的内容是否完整；上线后建议抽查收录页面与站点地图中的地址，确认关键页能正常读到。

Robots 里写了不要抓，内容就安全了吗？ 不是。Robots 靠对方遵守，它不阻止请求本身。需要真正限制访问的内容要设权限，公开内容要靠展示层与来源声明。

整页被搬走，最有效的处置是什么？ 一是让搬走的版本不可直接使用（展示层处理），二是保留可主张来源的证据（署名、站点说明、发布先后记录），三是通过链接推送让搜索引擎更早收录原始地址。

采集很频繁，要不要按 IP 拦？ 可以按访问限制处理，但要避免误伤共享出口的正规读者。频率限制与展示层保护解决的问题不同，两者可以配合使用。

内容本身不想公开，用哪一层？ 不用这两层。抓取层与展示层处理的都是已公开内容的被读方式；不公开的内容要用用户组与访问权限界定可见范围。