列表页的翻页地址要不要放进站点地图
列表页的翻页地址要不要放进站点地图,判断标准不是技术习惯,而是这个地址是否承载独立查询需求:只有当第二页之后的翻页页面对读者有独立价值、内容与首页不重复时,才值得声明收录;反过来,如果翻页只是同一批文章的延续,把详情页都放进站点地图已经足够。收录范围的划分先于任何提交动作。
站点地图声明的到底是什么
站点地图的作用是告诉抓取程序「这些地址值得来看」,它声明的是价值判断而不是全量清单。AnQiCMS 的 Sitemap 自动生成,范围由内容状态决定:正式文档进入站点地图,草稿与待发布内容不进入,回收站里的文档也不参与。因此要控制收录范围,应该从内容状态与栏目结构入手,而不是手工去删条目。翻页地址是否进图,取决于它指向的列表结果是不是稳定、可复查的一组内容。
翻页地址该不该进,按两类判断
第一类,翻页承载独立需求:按栏目筛选、按地区或参数分面的列表,第 N 页对应一组固定的、别处不出现的内容集合,这类地址可以进站点地图。第二类,翻页只是时间轴的延续:博客按发布时间分页,第二页只是更旧的文章,这些文章已经在详情页层面被声明过,翻页地址再进一次只是让抓取程序重复走同一片内容。判断时问一句:这个翻页页面上有没有别的页面覆盖不到的详情内容?
伪静态规则要保证地址稳定
翻页地址能不能被长期收录,前提是地址形式稳定。AnQiCMS 支持伪静态 URL 与伪静态规则管理,可以把分页参数写成固定形式。要避开两种情况:同一页面存在多个可访问写法(带参数与不带参数同时可用),以及排序参数导致翻页组合爆炸。前者让收录信号分散,后者会生成海量近似重复地址,两者都会稀释抓取优先级。排序与筛选参数如果没有独立价值,不应该进入站点地图。
robots 与 301 跳转不扩收录范围
robots.txt 的配置解决的是允许与禁止抓取,它不能替某个页面争取收录;把翻页目录屏蔽掉只是不抓取,并不等于从收录里去掉。301 跳转的作用方向相反,是收敛而不是扩张:多个翻页写法指向同一内容时,用重定向合并信号;栏目改版后旧列表地址要 301 到新地址,避免留下断链。至于收录的提交与通知,靠链接推送能力向百度、Bing 主动推送新内容即可,不必为翻页地址单独提交。站内关键词的关联交给锚文本管理维护,让列表页与详情页之间的路径清晰。
调整收录范围后观察什么
改动站点地图范围后,观察顺序应该是先确认抓取可达(站点地图能被读取、翻页地址返回正常),再看收录量变化,最后看来自列表页的进入量。若两周内翻页页面无独立进入,说明判断有误,把范围收回详情页层面即可。
常见问题
全站把翻页地址排除会不会漏内容
不会漏,只要详情页都在站点地图里。漏收录通常来自状态设置错误或新页未及时推送,而不是翻页地址缺失。
带筛选参数的列表页算不算翻页
不算同一类。筛选页如果覆盖独立查询需求,值得单独判断;如果只是同一集合的不同排序,属于重复地址,不适合进入站点地图。
分页地址形式变了怎么办
旧形式用 301 跳转指向新形式,同时确保伪静态规则只保留一种可访问写法,避免两种写法同时在线。