跳至正文
技术 SEO 与抓取索引 · Google SEO

博客如何被 Google 发现与收录:六步排查

// / / 光算科技

博客想被 Google 发现和收录,核心不是“发够多少字、买够多少外链、调用某个 API”,而是让 Google 能找到文章、能抓取文章、允许索引文章,并且认为这篇文章对搜索者有独立价值。对普通博客来说,标准路径仍然是 Search Console、站点地图、清晰内链、可访问页面和有用内容;Google Indexing API 不适合作为普通博客文章的通用提交方式。

博客收录依赖发现入口、技术可访问性、内容质量和站内结构,而不是单个“加速按钮”。

先用一句话判断问题在哪里

如果博客文章没有出现在 Google,可以按四层判断:

  • Google 还没发现:文章没有进 sitemap,也没有任何站内或外部链接指向。
  • 发现但没抓取:站点新、入口弱、服务器慢、URL 太多或抓取优先级低。
  • 抓取但没索引:内容重复、太薄、canonical 指向别处、页面质量不足或不适合单独进入索引。
  • 已索引但没流量:查询意图没匹配、标题描述不清楚、竞争内容更完整,或排名还很低。

Search Console 的 URL 检查工具和页面索引报告可以帮助区分这些状态。不要只用 site:URL 判断,也不要把“没排名”误认为“没收录”。

第一步:确认文章允许被抓取和索引

先检查最基础的技术信号:

  1. 文章 URL 返回 200,而不是 3xx 链式跳转、404、403、500 或软 404。
  2. robots.txt 没有屏蔽文章路径,也没有屏蔽渲染正文所需的关键 CSS/JS。
  3. 页面 head 或响应头没有误加 noindex。
  4. canonical 指向当前文章的规范 URL,而不是首页、分类页或另一篇文章。
  5. 移动端能看到完整正文、图片和链接,不把关键内容藏在爬虫无法访问的交互后面。

Google 官方说明,noindex 要生效,页面必须能被爬虫访问到;如果被 robots.txt 阻止,Googlebot 看不到 noindex,页面仍可能以有限信息出现在搜索结果中。参见 Block Search indexing with noindex。

如果文章已经删除,则应返回 404/410 或在有相关替代内容时 301;如果文章仍希望收录,就保持 200、可抓取、可索引。Google 对状态码的处理可参考 HTTP status codes and Google crawlers。

第二步:提交站点地图,但不要把 sitemap 当保证书

站点地图能帮助 Google 发现你认为重要的 URL,尤其适合新博客、文章较多的站点或内部链接还不完善的站点。Google 官方也明确说明:站点地图有助于发现和抓取,但不保证所有项目都会被抓取和索引。参见 Learn about sitemaps。

博客 sitemap 建议遵守三条原则:

  • 只放该收录的文章:排除草稿、预览、标签参数页、搜索页、noindex 页和重复 URL。
  • 保持规范一致:sitemap URL、canonical、内链和最终访问 URL 使用同一版本。
  • 更新时间诚实:只有正文或核心信息实质更新,才更新 <lastmod>。

对于单篇重要新文章,可以在 Search Console 的 URL 检查工具中请求编入索引;大量文章则依靠 sitemap 和站内链接。Google 提醒,重复请求同一 URL 不会让它抓取得更快,抓取和索引也不保证即时完成。参见 Ask Google to recrawl your URLs。

第三步:不要用 Indexing API 推普通博客

普通博客文章不属于 Google Indexing API 的通用适用范围。官方文档写明,Indexing API 只能用于抓取带 JobPosting 的招聘页,或 VideoObject 中嵌入 BroadcastEvent 的直播活动页;它可以通知 Google 更新或移除这类短时效页面。参见 Using the Indexing API。

如果你的博客不是招聘信息或直播活动,不建议把开发精力放在 API 推送脚本上。更应该检查文章是否有入口、是否解决真实问题、是否与站内其他文章重复、是否有清晰标题和可读正文。把不适用的 API 当捷径,往往会掩盖内容和结构上的真实问题。

第四步:让每篇文章从站内结构中被发现

Google 通过链接发现网页。博客文章如果只是出现在 sitemap 里,但没有分类页、专题页、首页模块或相关文章链接,抓取和理解都会变弱。合理的博客结构通常包括:

  • 分类页:按主题组织文章,而不是几十个空标签页。
  • 专题页:把同一问题链条下的文章集中,例如“新站收录”“技术 SEO”“内容优化”。
  • 上下文内链:在正文中自然链接到能继续解释概念、步骤或服务的页面。
  • 服务承接:知识文章解决问题后,引导读者了解相关服务,而不是每段都硬插广告。

例如讨论收录排查时,可以自然链接到 robots.txt 与 Google 索引更新;解释选题时,可以链接到 搜索意图;当读者需要系统执行时,再连接到 Google SEO 服务。

第五步:内容要满足一个明确搜索意图

Google 的有用内容指南建议创作者评估:内容是否提供原创信息、完整描述、可靠来源;读者看完是否能达成目标;是否主要为了人而不是为了操控搜索排名。它还明确否定“Google 有偏好的固定字数”这种写法。参见 Creating helpful, reliable, people-first content。

博客文章可以短,也可以长,关键是是否把一个问题讲透。写作前先确定:

  • 读者搜索这个词时真正想解决什么?
  • 这篇文章回答的是定义、步骤、对比、排障、清单还是购买决策?
  • 正文有没有给出具体判断方法,而不是只说“优化内容、提升质量”?
  • 结论有没有依据,是否把推测、经验和官方政策区分开?
  • 这篇文章与站内已有文章相比,新增了什么信息?

不要为了收录而批量发布“同题换词”的文章。Google 可以抓到很多页面,但不会因为页面数量多就认为每一篇都值得进入索引。对博客来说,少量能解决具体问题的文章,通常比大量重复、泛泛而谈的页面更容易形成长期入口。

第六步:外链可以帮助发现,但不要把数量当收录开关

外部链接可能帮助 Google 发现新博客,也可能传递主题相关信号;但“买够多少条外链就会收录”不是可靠结论。低质量、无关、批量制造的链接还可能带来垃圾链接风险。更适合博客早期的外部入口包括:

  • 把有价值的指南放到真实社群、行业资源页或合作伙伴页面中引用。
  • 在公司官网、服务页、案例页中自然链接到能解释问题的文章。
  • 为工具、模板、研究或教程提供可被他人引用的材料。
  • 避免论坛签名、批量评论、自动化目录站等低质量做法。

如果网站的商业目标是通过 Google 获取咨询,外链只是其中一环;技术可访问、内容质量、站内结构和服务承接同样重要。关于整体 SEO 服务体系,可以查看 光算 Google SEO 服务。

博客文章未收录时的排查表

Search Console 现象常见原因优先动作
找不到该 URL没有入口、未进 sitemap、新站外部链接少加入 sitemap,从分类页/相关文章建立内链,请求检查少量重要 URL
已发现,尚未抓取抓取优先级低、URL 多、站点新、服务器不稳定减少低价值 URL,增强内链,检查日志和服务器状态
已抓取,尚未编入索引内容薄、重复、意图不清、canonical 问题补强正文、合并重复文章、检查 canonical 与标题承诺
被 noindex 排除插件、主题或响应头误设置移除 noindex,并保持页面可抓取后请求重新抓取
重复,Google 选择了其他规范页多 URL 同内容、canonical 信号不一致统一规范 URL,调整内链和 sitemap,必要时合并内容

发布前给博客的一份收录清单

  1. 标题准确覆盖一个明确问题,不夸大承诺。
  2. URL、canonical、sitemap 和内链使用同一规范版本。
  3. 页面返回 200,无误 noindex,无 robots 屏蔽。
  4. 正文开头直接回答问题,后文提供步骤、条件、例外和来源。
  5. 图片有准确 alt,帮助理解内容,而不是纯装饰。
  6. 至少有一个相关分类或专题入口,不是孤立文章。
  7. 有自然的下一步链接:相关知识、工具说明、服务页或联系方式。
  8. 发布后在 Search Console 中观察索引状态,不把搜索表现与收录状态混为一谈。

博客收录优化的重点,是让每篇文章成为站点主题中一个有用节点:Google 能发现它,爬虫能读取它,页面允许索引,读者能从中获得明确答案。做到这些,才有资格谈后续的排名、点击和咨询转化。