URL带参数、锚点或大小写差异,不能只看字符串就断定“是一页”或“是多条外链”。先区分原始链接、服务器请求、实际内容和报表归组;保留原值,再依据用途和实际响应处理变体。
一个地址里,哪些部分交给谁处理
以教学地址https://example.com/item?color=blue#spec为例,https是scheme,example.com是主机,/item是路径,color=blue是查询串,spec是片段。RFC 3986第3.4与3.5节定义query与fragment,片段在解引用前与主资源地址分离,由用户代理处理。

普通锚点可以定位页内章节;脚本也能根据片段改变界面,所以不能声称“片段绝不改变显示内容”。但Google URL结构指南一般不支持用片段区分要抓取的内容,建议这类内容使用合适的独立地址与History API,而非用#制造多页。
最容易误合并的几类写法
| 差异 | 正确区分 | 不能直接做的事 |
|---|---|---|
| HTTP与HTTPS、www与非www | scheme或host不同;核实际响应和配置 | 仅凭外观当同一地址 |
| 主机大小写与路径大小写 | scheme/host通常不区分大小写,路径按实际语义处理 | 把整条URL统一转小写 |
| %7E与~ | 非保留字符可按语法规则规范化 | 据此把所有百分号编码都无条件解码 |
| %2F与/ | 保留字符可能改变路径分隔语义 | 把编码后的斜杠改成结构斜杠 |
| ?a=1&b=2与?a=1%26b=2 | 前者可表示两个参数,后者把&作为值内数据 | 把参数分隔符与值内容混为一谈 |
| ?page=2、?color=blue、?utm_source=x | 分别核分页、内容选择和来源标记的实际用途 | 只要有问号就删全部参数 |
上述编码和大小写依据RFC 3986第2.1—2.4节及第6.2节。百分号编码中十六进制字母的大小写可等价,但路径字符大小写不是同一规则。查询参数的顺序、重复键、空值和签名校验可能有应用意义,不能用排序或反复解码来“统一”所有URL。
重复内容,选择适合用途的规范化方式
Google规范URL指南面向重复或非常相似内容,重定向和rel=canonical均是强信号,sitemap是较弱信号,Google仍可能选择其他URL。canonical是规范偏好,不执行浏览器跳转;永久迁移用相关永久跳转,仍需供用户使用的等价变体可以按用途保留并表达偏好,不必全部301。
站内链接、canonical、语言标注和地图尽量指向一致的首选版本,且核实际内容。已加canonical不等于其他变体绝不会被索引,也不自动证明所有链接信号已合并。四层地址记录见href、最终地址、声明与Google选择。
分页、筛选、语言与UTM不要混成一类
分页指南明确各分页有独立URL与自身canonical,不把每页都指向第一页。筛选可能形成不同有用集合,排序也可能只是同一集合的展示差异;先决定哪些页面需要公开搜索,再分别处理抓取与索引控制。
不同语言的真实正文不能只因商品相同就全部合并到一种语言。只有追踪用途的参数,也要先保证需要的分析采集不被跳转提前移除;详见UTM与跳转。这些技术安排均不把已发布在第三方页面上的href自动改成新地址。
最后才决定报表里算几条
GSC链接报告按自己的canonical、参数和重复关系规则归组;项目台账可以同时保留原始出现次数与归一后的结果,但必须写处理规则。一个目标URL不等于只有一条来源外链,完整单位示例见外链统计口径。
需要核Google当前已处理的规范选择时,用有权资源的URL检查索引数据,不能以实时测试成功代替最终canonical。记录尚未核实的项目,再用当前服务器响应和内容解决实际冲突。