跳至正文
精选文章 · Google SEO

Sitemap提交了但只收录首页:怎样核对有效URL、内链和规范页

// / / 光算科技

Sitemap提交成功,只说明提交这一步完成了,不能据此判断产品和文章已经收录。遇到“只收录首页”,先抽查重要内页的GSC状态,再核对地图里的地址、站内链接和canonical是否指向同一个页面。地图列新地址、导航还指旧地址、内页又把首页声明为规范页时,重新提交地图也解决不了这些矛盾。

排查可以从网站现有的产品、分类和文章清单开始,逐类看哪些内容应该进入搜索、哪些确实出现在地图里。下文的表格用于整理检查结果,并没有预填客户数据。保留原始URL和检查时间,运营便能把具体问题交给开发处理,而不是只转述一句“Google不收录”。

搜索里只看见首页,不一定只有首页被索引

一次搜索只出现首页,可以说明这次查询看到了什么,却不能列出网站的全部索引情况。有权限时,分别用GSC检查首页、重点产品、主要分类和代表文章。Google网页索引报告说明[3]说明,已索引页面未必在每次查询中出现,索引报告的示例列表也不是该状态下的全部URL。先确认重要内页究竟处于什么状态,再判断问题规模。

地图的读取状态也要单独看。提交成功之后,Google还要取得和处理地图,再决定是否抓取其中的页面、采用哪个规范版本。构建与提交Sitemap文档[1]明确把提交Sitemap称作提示,并不保证Google下载它或据此抓取URL。地图可读是值得确认的一步,但距离页面进入索引还有后续处理。

证据能支持的判断不能直接推出
地图提交成功提交操作已完成,继续检查读取状态其中每条URL都已抓取
地图能够读取对应文件可以被取得和处理产品模板允许索引
首页已索引首页当前具备索引记录所有目录和语言版本均正常
部分内页显示备用页需要检查对应规范页面该内容完全没有进入搜索
Sitemap索引经产品和文章子地图提供地址;首页经产品分类和文章专题的站内链接通向同一批内容页

Sitemap与站内链接可以通向同一批内容,两条路径都要检查;有入口不等于已抓取或已索引。

沿着Sitemap索引,打开每一个子地图

直接取得地图的原始XML,保存最终地址、响应头和取得时间,再用XML解析器检查。网页看起来像目录,不代表返回的就是有效地图,它也可能是登录页或缓存错误页。反过来,浏览器提示XML没有关联样式,并不说明格式有错;搜索引擎读取结构,不需要一套漂亮的展示样式。

根元素如果是sitemapindex,里面存的是子地图地址。继续打开每个子文件,才能看到产品和文章清单。重点找404、测试域名、错误主机及输出中断,不能只验证第一个文件。文件大小也不能替代实际条数:要让解析器读出全部loc,再判断遗漏和重复。

  1. 检查命名空间、闭合标签和UTF-8编码。URL特殊字符需要按XML规则转义,但网址编码与XML转义是两回事,重复转码反而可能改坏地址。
  2. 单个Sitemap不得超过未压缩50MB或50,000条URL,超出应拆分。检查的是各文件未压缩的体积,不能拿压缩包大小代替。
  3. loc使用带协议和主机的完整绝对地址,不只写相对路径。
  4. 将文件与CMS已发布内容比较。CMS已有新页面、公网地图却没有时,再查生成任务、代理和缓存,确认旧清单停在哪一层。

格式、数量上限和绝对地址要求可对照Google Sitemap最佳实践[1]。查到旧缓存后,只处理确认有问题的地图路径及对应缓存层。更新XML不需要关闭整个网站的缓存,也不需要把仍在正常工作的所有子地图重新生成一遍。

先列业务需要的页面,再比较地图有没有漏

一条值得索引的URL,应当有独立展示价值、能够公开访问、正文完整,且规范关系正确。数据库里有记录,或者浏览器能够打开,都还不够。草稿、内部搜索结果、重复排序版本和已经删除且没有替代内容的页面,不应为了增加地图条数一起提交。

产品不要只挑热销型号,文章也不要只看最近发布的几篇。分别检查重点产品、普通产品、分类、新文章和旧文章;网站有多语言、迁移历史或不同渲染方式时,再按这些差异分组。记下取样依据,一组发现相同错误后,扩大到该模板或目录。这样比凭几个正常页面判断整站健康更可靠,也能避免无关页面被一起改动。

页面类型对照业务清单需要警惕的差异
产品详情已发布、可销售或有资料价值的产品地图遗漏新产品;同产品多个参数版本重复列入
产品分类有独立选型作用的品类页空分类持续提交;全部canonical指向首页
文章内容已公开且有独立问题答案的正文草稿误入;分页只暴露近期文章;正文接口失效
语言版本实际发布的各语言独立页面翻译URL跳回默认语种;规范页跨语言指错

自查工作表可以设置这些列:页面类型、预期URL、所在子地图、HTTP响应、最终地址、robots可抓取性、noindex、声明规范页、GSC规范页、站内入口、检查时间、处理负责人。拿不到的字段注明“尚未取得”,让接手的人知道还需要什么,不能用“正常”代填。

地图、内链和canonical,要认同一个主版本

产品A在地图里有自己的地址,页面却声明首页才是canonical,这是需要修复的冲突。还有一种不太显眼的情况:导航指旧地址,Sitemap列新地址,页面声明带参数版本。先决定哪一页承载这份独立内容,再一起检查地图、正文链接、导航和规范标记,避免不同入口一直指向不同版本。

这些信号的重要程度也不同。Google将重定向和rel="canonical"列为较强的规范化信号,Sitemap列入是较弱信号,几种方法可以配合使用,但都不强制Google采用指定版本。规范URL合并说明[2]还建议站内链接直接指向规范URL。XML语法完全正确,也不能弥补页面和链接持续给出的相反信号。

发现的情况处理原则复查重点
旧URL重定向到新URL保留合理迁移跳转,常规地图更新为预期规范地址新页内容、内链、最终响应一致
重复参数版指向主版本确认合并合理,地图优先列主版本主版本是否正常索引
独立产品错指首页修复生成逻辑,不只改单个页面同模板其他产品是否仍错误
Google选了不同规范页同时检查两页内容与全部规范信号是合理重复合并,还是重要内容被误判

正常的自引用canonical指向页面本身,看到这个标记就从地图删页,会把有效页面误删。对于真正的重复版本,应检查它合并到哪一页,以及主版本是否可索引。Google的规范化最佳实践[2]不建议用noindex来选择站内规范版本,因为noindex会阻止页面进入搜索,这与告诉Google哪个版本更合适不是同一项操作。

同内容示例:旧URL用301转向主版本,参数副本声明主版本canonical,Sitemap和站内链接也指向主版本

仅以已确认内容相同的地址为例:旧地址、参数副本、地图和内链表达一致的主版本选择,不主张删除所有参数。

Sitemap列了地址,站内也要找得到它

选一篇未收录的历史文章,从首页或栏目出发试着找到它。分页到后面是否还可访问?栏目是不是只列最新内容?产品筛选是否只有点击脚本,没有可发现的页面链接?语言切换是否到达对应版本?运营手动输入URL能够打开,不代表读者和爬虫能从网站其他位置找到它。地图可以提供地址,不能替代导航。

把站内公开抓取发现的URL与地图清单比较,会得到两类值得检查的差异。只在地图里的地址,可能是孤立页面,也可能因为登录、脚本或扫描设置而漏抓;只在站内发现的地址,可能是地图生成遗漏,也可能本来就不应提交。差异是检查线索,不是删除指令,先打开页面确认原因。

补入口时,优先恢复分类、专题和相关正文之间的联系。材料说明可以通向选型页,工况文章可以通向适用产品类目,读者能理解为什么要点过去。已有迁移关系仍应保留,不为少点一次就随意改URL。某一页持续显示“已发现”时,再按GSC状态与Googlebot日志排查流程追查实际访问,比继续添加无关链接更有针对性。

先确认修复生效,再观察Google怎样处理

网站团队先重新取得公网XML,确认原先打不开的子地图已经恢复、目标URL列在正确文件里、应排除的地址不再生成。接着复查同模板的响应、noindex、规范页和正文。把出错位置、修改内容和复查结果记下来;刷新插件、清缓存只是动作,还需要看到文件和页面实际发生了什么变化。

随后继续检查修复前保留的同一批URL,看发现、抓取和索引状态如何变化。网站仍在发布新内容、报表存在延迟、样本换了一批,都可能改变整站曲线,所以曲线上升不能单独证明某项修复有效。索引报告使用建议[3]提醒,目标并非所有URL都进入索引,而是重要页面的规范版本能够被索引。

少量新增或有实质修改的页面,可按权限请求索引;大批页面用Sitemap提供信息。Google重新抓取说明[4]说明重复请求同一地址不会加快抓取,没有必要连续删除和重交地图来获取绿色提示。也不要把priority拉满、changefreq设成小时级,Google会忽略这两个字段;lastmod则应准确反映可核验的更新时间,详见XML地图字段说明[1]

有效清单整理好后,怎样评估收录支持

如果重要规范页面访问正常、入口清楚,却仍缺少发现和抓取进展,可以带着这份清单评估GSI谷歌收录服务。它围绕提交URL开展抓取引导与收录促进,按URL规模确认范围。团队希望自己上传和调整清单时,也可考虑GPC爬虫池的月租资源方式。选择取决于页面现状与操作安排,不需要默认两项同时购买。

地图还在不断生成错误地址时,先修生成器和模板,再交出去重后的有效清单。否则新增提交会不断带入同样的问题。月租资源与按URL交付怎么选进一步比较了两种采购方式;配置、价格及商业条件应按相应服务页和书面报价确认,服务参考周期不能当成Google保证的处理时间。

客服中心提交Sitemap问题沟通时,附地图地址、主要页面类型、预计处理的URL量、代表页面GSC状态和检查日期。已经修过的问题,也附上记录,便于区分仍需开发处理的部分和适合评估资源支持的部分。没有GSC或日志权限就直接说明,先确认双方能够用哪些方式检查结果。

不要为了让地图覆盖率好看而移走尚未收录的重要页面。清单少了,比例可能变了,页面却仍未进入搜索。决定去留的应是内容价值、规范关系和访问状态;有效页面只是暂时未索引,通常仍是需要跟进的对象。

也不必把所有文章补到同一字数。产品规格、故障步骤与研究文章需要的篇幅本来就不同。逐页检查答案是否完整、与现有内容是否重复、主要资料能否被读取,才知道该补参数、修接口,还是重新整理内容。

参考资料