跳至正文
精选文章 · Google SEO

Sitemap“已发现网页”如何对账:索引文件和子地图别重复相加

// / / 光算科技

Sitemaps报告里的“已发现网页”是Google从站点地图解析出的页面URL数量,不是已收录网页数量。如果查看的是索引文件,其数字覆盖子地图里的URL,重复URL只计一次。因此,索引文件与子地图不能再相加,子地图之间也需要检查重叠后才谈总数。[6]

这篇解决的是数字怎样对账。拿错分母,会让正常的地图拆分看起来像收录流失,也会让重复提交看起来像新增页面。先校准文件、读取时间和唯一URL,再去判断是否存在索引问题。

父地图和子地图怎样避免重复计数

假设一个sitemap索引引用两份产品地图:第一份有A、B、C,第二份有C、D。两份文件各有三条、两条记录,但合并后的唯一URL只有四个。这个集合运算已在本地教学样例中执行,A到D是虚构占位名,没有涉及真实站点。

子地图一:A、B、C
子地图二:C、D
并集:A、B、C、D
原始条目数:5;唯一URL数:4

索引文件是入口,不是又一批新增页面。把索引显示的发现数与所有子地图发现数一起相加,会重复统计同一批页面。反过来,直接把子地图数字相加,也可能因为C同时出现在两份文件而高估总量。

两个子地图集合中A与B只在左侧,D只在右侧,C位于交集,合并后只有四个唯一URL

原创集合示意:A至D是假设URL,交集中的C只计一次。对应正文已执行的集合运算;圆的面积不表示实际数据量或收录比例。

图中把C只画一次,是为了看清重复关系。Google公开帮助说明也明确区分从地图解析出的页面、是否已抓取以及是否已编入索引。看到“发现数”增加,只能先说Google读到了更多页面地址,不能把增长幅度写成新增收录成果。

对账先保留同一时点的材料

  1. 记录GSC资源、提交的精确地图URL、地图类型、最后读取时间和报告中显示的状态。不要把域名资源与路径前缀资源的数据混起来。
  2. 保存当前地图索引及子地图原文,标注实际获取时间;若正在发布,等发布完成后再取一套完整文件,避免半新半旧。
  3. 统计每份地图的原始条目数、唯一URL数,以及子地图之间的交集。页面地图与视频等扩展字段不要混为一个数量。
  4. 比较“Google上次读取的内容”与“现在服务器的内容”是否处于同一版本。如果读取早于发布,先把时点差异写清楚。
  5. 把差异分为新增地址、移除地址、重复条目和待确认,不直接把净差额当作抓取失败。

这里的唯一URL按精确字符串处理最容易审计。不要擅自把大小写、尾斜杠、参数或HTTP与HTTPS改成同一形式,除非你已核实它们的跳转及规范关系。报表定义中的去重,与企业自己认定“这些是同一产品”的业务归组,不是同一操作。

为什么报告可能没有列出某份地图

Sitemaps报告只显示通过该报告或API提交的地图,不会把经robots.txt等其他方式发现的全部地图都自动列在提交清单中。[6] 因此“报告列表没有它”不能证明Google从未发现它。先检查发现入口与资源范围,再决定是否需要由获授权人员提交以便持续跟踪。

与此同时,Google报告的成功读取也不是你当前服务器文件正确的永久保证。地图之后可能更新、被缓存或暂时出错。对账记录应保留“报告最后读取”和“本次实际获取”两项,不能只留一张没有时间背景的成功状态截图。

算收录比例前,先说清分母

如果业务问题是“计划公开的产品页有多少进入索引”,分母应来自你核定的目标页面清单,并说明是否剔除了不计划索引的重复、跳转和关闭页面。它不一定等于CMS记录数,也不一定等于某张地图的原始条目数。分子也必须限定在同一份目标清单内:以同一核对时点确认已索引的唯一URL数,除以该清单的唯一URL总数。若只能取得某张地图的汇总,而它与目标清单范围不同,或只检查了少量样本,就先报告覆盖范围和未确认项,不计算全量收录比例。

GSC中可以按特定地图过滤页面索引报告,帮助查看相关页面的索引情况。[6] 但两份报告的更新时间与范围需要一起记录;不能把当前刚生成的文件条数,直接与较早的索引报告相除后宣布“收录率骤降”。

对于重点页面,使用URL检查核实其索引记录,而不是以少数样本外推全站全部收录。若Google选择了其他规范页,需要结合规范URL与点击归属理解它代表哪份内容。本文不建议为追求表面比例把仍有用途的URL随意删除。

按语言或产品线拆地图时,可以分别报告各自原始条目及唯一地址,再给一个跨地图去重后的总量。不要把“产品线总和”默认称为全站唯一网页数;一个安装指南可能同时被两条产品线引用。若地图负责方有意允许重叠,就记录这一选择,而非为追求数字相等随意移动页面。

比较两期文件时,除了净变化,还应保留新增与移除集合。新增一批页面同时移除另一批,净数量可能不变,但需要核查的对象已经改变。只看总数平稳,会错过本次发布真正需要检查的页面。

交付差异清单,而不是反复点提交

一份可执行的结果应写出:比较了哪份索引及哪些子地图、版本时间、精确唯一URL数量、重复来自哪里,以及尚未一致的原因。发现重复先查地图生成方式;读取滞后先留时间记录;发现主机不稳定,再转给主机可用性排查。这些问题的处理人和动作不同。

光算的谷歌SEO服务包含按项目安排的网站技术与Sitemap相关工作。合作时可把地图清单核对和重点URL索引检查分别列入执行范围,避免用“已发现网页”替代真正需要验收的索引状态。

参考资料

  • [6] Sitemaps report - Search Console Help