新发的文章想让搜索引擎快点抓到,走主动推送还是等站点地图
新发的文章想让搜索引擎快点抓到,正确的问法不是「推送还是站点地图二选一」,而是先分清两条通道各管哪一段:链接推送管增量,站点地图管全量。刚发布或刚改过的少量地址,用百度、Bing 的主动推送直接递交给对应引擎的接收接口,是被发现得更快的那条路;全站所有该被抓到的页面,则靠自动生成的站点地图持续兜底。只用其中一个,另一段的缺口一直都在。
推送和站点地图各管一段
主动推送的动作发生在「内容变动的瞬间」:文章发布、旧文修改,系统把这些地址即时提交给搜索引擎的推送接口。它的特点是范围小、时效强,一次只递当天变化的那批地址,引擎收到后可以直接排进抓取队列,不用等下一轮巡检全站。
站点地图的作用则是「兜底与全量」。它是一份持续更新的地址清单,告诉抓取程序站内有哪些页面、各自更新到什么时候。清单不会替某一篇新文章抢时效,但它解决另一个问题:凡是没有被外部链接带到、也没有被推送覆盖到的页面,抓取程序按清单巡检时仍有机会发现。两者一个是加急通道,一个是总账。
增量走推送的时机
站内发布新内容后,主动推送的时机越早越好,通常配合发布动作触发。要注意的是,推送对「推什么」比「推多快」更敏感:
- 只推新发和实质更新的地址,原样不动的页面反复推没有增益;
- 推之前确认这个地址能被真实抓到,返回正常、没有被排除规则挡在门外;
- 同一地址在不同通道的口径要一致,推送、清单、页面上给出的地址应当是同一个形式。
AnQiCMS 把链接推送管理做成了后台模块,百度与 Bing 的主动推送在站内配好密钥后即可随发布联动,不需要每次手工复制地址去引擎后台提交。
全量为什么还要站点地图
如果只有推送,收录的覆盖面就取决于「你记得推了多少」。栏目页、标签页、历史文章里那些没人改动、也很久没被抓的角落,推送不会主动想起它们,而巡检清单会。站点地图自动生成解决的正是在这里:清单内容随站内数据变化更新,抓取程序按自己的节奏回访,全站地址都维持在可发现的范围内。
对内容量大的站点,两份机制的分工更明显:
| 项目 | 主动推送 | 站点地图 |
|---|---|---|
| 覆盖对象 | 新增与近期修改的地址 | 全站应被抓到的地址 |
| 生效节奏 | 随发布动作即时递交 | 按引擎巡检周期读取 |
| 解决什么问题 | 新内容被发现得慢 | 角落页面长期无人访问 |
| 典型配置 | 后台配好推送接口即可 | 自动生成,声明在 robots 或引擎后台 |
| 失效风险 | 地址口径不一致导致白推 | 清单内容与实际页面脱节 |
两条通道地址口径要对齐
最容易踩的坑是伪静态。站内支持伪静态 URL,页面地址呈现为静态形式,但推送出去、写进清单的地址必须和抓取程序实际请求到的地址完全一致。若伪静态规则调整过,旧形式地址返回异常,那么按旧口径推送就是在提交抓不到的地址,收录自然快不起来。改动规则后建议抽查:推送过的地址引擎返回什么状态、清单里的条目能否正常打开。
同理,301 重定向的指向也要统一到新口径。同一个页面存在两个都能访问的地址时,引擎要自己猜哪个是正式版本,猜错的代价是收录信号被拆分。
常见问题
问:站内两者都要开吗?
答:要。主动推送解决增量被尽快发现的问题,站点地图解决全量覆盖问题,机制互补,不是重复建设。
问:只靠站点地图,新文章会晚多久?
答:没有固定天数,取决于引擎对清单的回访节奏;清单读得勤的引擎差距小,长期不回访的站点就会明显慢,所以新内容仍建议走推送递交。
问:推送多了会不会有副作用?
答:把没有变化的地址反复推送属于无效信号,长期看会让引擎对你的提交质量打折,按当天真实增量推即可。
问:改了地址形式,之前的推送还有效吗?
答:旧地址如果已经跳不到正确页面,之前的提交就失效了,需要先把重定向补齐,再按新口径继续推送。