筛选条件生成大量近似页面，先堵抓取还是先堵索引

筛选条件生成大量近似页面时，应该先堵抓取还是先堵索引？顺序取决于这批地址现在卡在哪个环节：如果它们还在被反复请求、消耗每天的抓取量，那是抓取侧问题，先把规则收紧；如果页面已经被抓到并进入收录列表，近似版本开始占名额，才轮到处置索引。反过来做常见且无效——只堵抓取不会让已经收录的页面自动退出，两条链路要分开看。

近似页面是怎么长出来的

筛选参数与页码、排序相乘，组合数很快失控。同一批内容在「地区加价格区间加排序」下呈现多次，标题、描述与正文主体高度相似，只是参数不同。这类地址一旦被站内链接挂出来，就会进入被抓取与被收录的流水线，专业说法叫重复内容、抓取浪费与索引膨胀三件事同时发生。

先分清浪费的是抓取还是索引

屏蔽抓取的手段和副作用

在 robots 里禁止这类路径，效果是爬虫不再请求它们。副作用要提前想清楚：已经不抓的页面，其已有收录不会因为这条规则消失；同时，如果筛选页里存在你希望被看到的组合，一刀切会连带挡掉。规则要按参数组合精确写，并保留列表页与详情页的正常入口。

控制索引的三种口径

一是给不需要出现在结果里的组合加取消索引的标记，让页面可被抓但不出现在索引中；二是把这些变体的规范地址统一指向主页面，把信号合并回一处；三是从源头收紧，用伪静态规则只允许参与排序与分页的少数参数进入地址，其余参数不生成可被抓取的链接。三种口径可以并用，但同一批地址只保留一种主导方式更稳，避免规则互相覆盖。

站点地图在这里的作用

站点地图只应列出你希望被收录的规范地址。把筛选组合、临时排序地址一并写进去，等于主动放大索引膨胀。小站可以只提交栏目首页与正式文档；多品牌或多语言场景再按站点分别维护。地址改动过的历史版本，用重定向把外链与旧地址引到新的规范地址上。

常见问题

先删链接还是先加规则？ 先从链接里去掉这类地址，再决定是否限制抓取，链接不再被挂出后，多数组合会自然降温。

取消索引会不会连带影响抓取？ 不会自动停止抓取，页面仍可被抓但不应进入索引，两者是不同指令。

内容量少要不要管？ 组合规模小的时候收益有限，优先处理已经出现在收录列表里的重复地址。

规则改了多久见效？ 抓取侧按天观察日志变化，索引侧要看收录列表的回落，两者节奏不同。