功能预览

功能介绍

整站文章一夜被搬空,干扰码和 robots 配置各管哪一段

内容被批量采集时,robots 配置负责声明层面,写明哪些路径不希望被抓取;防采集干扰码负责内容层面,让批量拿走的页面变成不可直接使用的残次品。两者一段管声明、一段管成品,配合发布侧的敏感词过滤与内容审核,才构成完整的防搬运链路。

内容保护 防采集

功能介绍

内容被批量采集搬运时,防采集干扰码和 robots 配置分别负责哪一段?简单说:robots 管声明,干扰码管成品。robots.txt 是写给爬虫看的抓取边界声明,拦不住不守规矩的采集器;AnQiCMS 内置的防采集干扰码则作用在到达的内容上,让对方批量拿走的文章变成不能直接二次发布的残次品。两段职责不同,缺一段链路就断。

声明层面的 robots 管什么

AnQiCMS 支持 robots 配置。它的价值在于把”不希望被抓的路径”写清楚:后台路径、预览链接、内部检索页等按声明排除。对遵守协议的搜索引擎爬虫,这是明确的边界;对无视协议的批量采集脚本,它没有任何强制力。所以robots 的定位是合规爬虫的说明书,不是防盗门。把防搬运的全部希望寄托在一行 Disallow 上,是常见的误解。

拿走的成品为什么不值钱

批量采集站要的是”拿来就能发”的成品。干扰码的作用点正在这里:在输出内容里混入对真人不可见或弱感知的干扰信息,人读原文不受影响,整页扒走却会带上杂质——复制方要么直接用出不正常的内容,要么花时间逐篇清洗。当清洗成本高于自己原创,批量搬运的账就算不起来了。这就是干扰码和声明的本质差别:声明管”该不该拿”,干扰码管”拿了能不能直接用”。

干扰码起作用的环节

干扰码属于 AnQiCMS 内置的安全能力之一,和 JWT 认证、敏感词过滤、防 SQL 注入与 XSS 攻击的防御同属一层思路:不指望对方自觉,而是在自己输出侧把风险处理掉。配置上建议只对正文类页面开启,列表页、接口输出等结构化场景保持干净,避免误伤正常的摘要抓取与搜索引擎收录。

被搬站后的处置顺序

  1. 留证:对搬运页面和己方原**时间线存证,先后关系要能被复核;
  2. 止损:检查 robots 配置与干扰码开关,确认增量内容已被覆盖;
  3. 申诉:向搬运站所在主机或平台提交侵权通知,附存证;
  4. 强化:把高频被搬的栏目检查一遍更新节奏,原创密度高的内容优先开启防采集。

自己采集内容时的边界

AnQiCMS 也提供从其他网站采集内容的能力。采集与被采集是同一套链路的两端,用采集功能时同样要守边界:尊重源站 robots 声明,控制频率,采后必须编辑加工而不是原样转发——原样转发既躲不过对方干扰码的坑,也会在搜索引擎侧被判定低质。工具没有立场,使用方式决定了你在链条的哪一端。

常见问题

开了干扰码会影响 SEO 吗? 干扰码设计目标是真人阅读无感、批量复制带病;按正文页范围开启,摘要类抓取拿到的仍是干净的概要。

robots 写了 Disallow 还是被搬了,正常吗? 正常,robots 只约束遵守协议的爬虫;防搬运要靠干扰码这类作用在内容层面的手段补位。

先买插件还是用内置能力? AnQiCMS 的干扰码与 robots 配置都是内置能力,先按上面的环节把内置的用上,再谈补充。