跳至正文
内容创作与优化 · Google SEO

不删除页面怎样处理重复内容?canonical、重定向与noindex的选择

// / / 光算科技

重复页面仍要给用户使用时,可以保留访问,再用canonical表达首选版本;页面确实永久停用,才考虑对应重定向。如果目标是退出搜索,使用可被读取的noindex;如果目标是减少无用筛选组合的抓取,再设计URL生成与robots规则。这几种工具解决的不是同一件事,不能一股脑加在所有参数页上。

先判断是重复入口,还是不同内容

把疑似重复URL放在一起,比较主要正文、商品或服务、用户能完成的任务、语言与地区。仅导航和页脚相同、共用商品参数或同一品牌介绍,不足以证明整页应合并。Google的规范化说明解释了它如何从相同或非常相似的页面中选择代表URL;没有手工声明canonical,也不等于Google完全不会识别重复。

例如同一篇指南的/guide/与/guide/?utm_source=email,如果主体相同,可选稳定地址作为首选。/products/?page=2却可能是后续商品,/product/?id=42可能决定商品身份,不能因带问号就合并或删参数。参数组合的处理可接着看动态参数规范化的三种方案。

想实现什么可采用的方式先确认的条件
重复版本仍供用户访问canonical表达首选URL主体相同或高度相似;首选页正常可访问且对应内容
旧入口永久停用301或308等永久重定向有明确对应的新入口,用户不再需要旧页原样呈现
页面保留,但不希望出现在搜索中页面meta或HTTP头noindex允许抓取,Google才可能读到该规则
减少无搜索用途的筛选组合抓取控制URL生成,按范围设计robots不误挡商品、分页和需索引的筛选页;不把阻抓当作退索引

保留重复页面,用canonical表达首选

Google规范化文档将重定向与rel=canonical列为较强信号,站点地图是较弱信号。Google仍会自行判断,标签不能保证指定URL一定胜出。对同一组页面,内部链接、站点地图和规范声明尽量指向同一首选版本。

教学示例:上述两个指南URL的首选页为https://example.com/guide/,在重复版本和首选页本身的有效HTML head中输出:

<link rel="canonical" href="https://example.com/guide/">

这行代码不会让浏览器跳转。应检查最终响应和渲染后的head,而非只看CMS字段。没有“必须紧挨title、位于前15行或前20KB”这样的规范化要求。绝对URL较容易维护;Google支持相对地址,但不建议依赖它。具体HTML、HTTP头和常见误配见canonical设置与核验。

PDF等非HTML资源可通过HTTP Link响应头声明canonical,前提仍是内容对应。不能因为一个PDF存在就认为它必然抢走HTML排名;独立手册与简短产品介绍也未必互为重复。Nginx和Apache的配置方式不同,不能把Apache的.htaccess操作照搬到所有服务器。

别把分页、变体和门店一律合并

Google分页指南要求分页序列中每页有自己的URL,并明确不要把所有分页的canonical指向第一页。分页提供不同条目,就应按实际内容处理;可抓取的下一页链接也要保留。

商品颜色和尺码需先决定单页或多页变体模型。多个真实门店的地址、服务与预约不同,应提供各自有用的信息,不能仅因模板相同就指向总部;参见门店页与重复别名的区别。完整语言版本也不应因为是翻译就全部合并到另一语言。

noindex和robots分别用在合适的目标上

noindex说明要求资源可被抓取;如果robots先阻止访问,爬虫看不到页面里的noindex。Google也不建议用noindex选择站内规范版本。需要搜索承接的重复组,先想清楚是否只是要表达首选,而不是让某页退出搜索。

大量排序、价格区间和无意义筛选组合则是另一类问题。筛选导航抓取指南提供按需阻抓的做法,但应先保留有效商品入口和计划索引的页面。canonical可能逐步减少重复抓取,并不等于立即节省固定百分比的服务器请求。限制抓取也不能证明已有URL已经从索引删除。

上线前后,用同一组URL检查

  1. 保存旧响应、正文与配置,列出样本、页面用途、预期状态和首选URL。
  2. 在测试环境验证商品选项、分页、下载、登录与统计归因,防止一条“去掉所有查询串”的规则破坏功能。
  3. 检查HTTP状态、跳转链、head、响应头及渲染后内容;排除插件或模板重复输出互相冲突的canonical。
  4. 刷新实际相关缓存,再从公网读回。大站可用Screaming Frog的抓取与复查流程覆盖模板和参数样本。
  5. 在URL检查的已索引数据中比较用户声明和Google选择的规范页;实时测试用于看当前可访问性,不预测最终规范选择。

如果Google选了另一页,按规范化排障文档检查技术信号和实际内容差异,而不是反复改日期。上线、重新抓取、规范选择、索引和点击变化分别记录;不能保证几天生效或流量增长多少。English version: keeping useful duplicate pages accessible.