跳至正文
技术 SEO 与抓取索引 · Google SEO

无限滚动页面不收录,必须改回分页吗?URL与加载检查方法

// / / 光算科技

无限滚动页面不一定要改回传统分页。可以保留连续浏览体验,同时让每一段列表拥有可直接打开的稳定URL、可抓取的链接和正确的内容。真正要修的是后续内容只能靠滚动或点击才出现、没有独立访问路径的实现。

Google的分页与增量加载文档明确说明:爬虫通常沿a元素的href发现URL,不会像人一样点击“加载更多”按钮。页面装了JavaScript并不意味着一定有问题;关键是后续商品或文章能否被实际取得。

先确认:没收录的是列表,还是后面的详情页?

这两种情况要分开。分类第二页不在搜索结果中,不足以证明其中的商品都没被发现;商品本身已有索引,也不能证明无限滚动的发现路径健全。

  1. 选一条只在后续列表出现的商品或文章,记录它的完整详情URL。
  2. 找出承载这一项的列表分段地址。如果只能说“往下滑几屏”,还没有独立URL,就先排查分段机制。
  3. 分别检查该列表地址与详情地址的HTTP状态、robots、canonical和正文;有GSC权限时分别做网址检查。
  4. 查看分类正文、分页和其他相关页面有没有指向详情的链接,不把sitemap中有URL当成站内路径已经完整。

若后续列表本身可打开、商品链接也存在,但详情页仍未索引,继续调查详情页的内容、规范化与索引状态。不要仅因为它出现在“第二屏”就断定Google降低了权重。

把连续滚动建立在可访问的分页之上

每一段有稳定地址,直接访问也能取得对应内容

可以使用/catalog/?page=2或/catalog/page/2/,不必为了消除问号迁移整套URL。Google的懒加载说明要求无限滚动支持分段加载,并为各段提供持久、唯一的URL。不要用#page=2充当独立分页,也不要用“昨天”“下一批”这类相对描述作为唯一定位方式。

URL应稳定代表相应分段,不依赖先滚过第一页或浏览器里的临时状态。内容正常上新会改变列表,但应保持可解释的排序,避免同一次浏览因随机排序或插入数据而反复跳项、漏项。需要精确恢复位置的实现,可以采用可持久解析的游标或快照方案,同时确保直接访问仍然成立。

保留用户也能使用的分页链接

以下是第二页的HTML结构示意。正式页面还应输出第二段真实条目;链接样式可按网站设计调整,不应为爬虫藏一套用户无法使用的导航:

<!-- 第二页的head中 -->
<link rel="canonical" href="https://example.com/catalog/?page=2">

<!-- 第二页的正文中 -->
<nav aria-label="目录分页">
  <a href="/catalog/">上一页</a>
  <span aria-current="page">第2页</span>
  <a href="/catalog/?page=3">下一页</a>
</nav>

JavaScript可以在此基础上增强交互,让新条目追加到当前列表。无论是否使用增强,刷新第二页、复制URL到新窗口、用键盘访问“下一页”,都应该有可用结果。设计正文与列表的内部链接时,先保证读者能找到下一步,不靠隐藏链接凑数量。

让地址栏与主要可见分段相对应

滚动加载后,当新的分段成为主要可见内容,可通过History API更新地址。返回、刷新与分享应恢复相应位置,而不是总落回第一页。需测试popstate处理、焦点、筛选条件与滚动恢复;只调用一次pushState而不支持直接访问,仍没有解决发现问题。

canonical与robots:别把后续内容一起关掉

内容不同的分页不应全部canonical到第一页。Google建议各分页使用自己的规范URL。第一页若同时存在/catalog/与/catalog/?page=1等同内容别名,可以选定一个版本并统一链接;这是同内容别名处理,与把所有分页合成第一页不同。

需要承担发现和展示任务的正常分页,不要被统一的参数屏蔽规则误伤。筛选、排序和重复组合是否保留索引,要另按价值与规模决定,不能见到问号就全部屏蔽。若使用noindex,必须让爬虫能读取它;robots.txt禁止抓取不能替代noindex。

过去常见的head中rel="next"和rel="prev",Google已不再用来识别分页关系。可以为其他用途保留,但它们不替代正文里的真实链接。分页标题与description可加入页码帮助读者区分;Google也允许同一序列共用标题与描述,并没有“每页不唯一就不能索引”的规则。

滚动体验需要单独验收

可抓取并不自动等于好用。无限滚动是否适合你的目录,还要看用户能否定位、比较与返回。

  • 加载中与失败:提供清楚的状态和重试入口。接口失败不能悄悄变成“没有更多了”,也不能重复添加同一批条目。
  • 页面终点:数据耗尽后停止加载;无法成立的越界分页不要无限返回200空壳。可用404表达不存在的分段。
  • 键盘与阅读顺序:新内容追加后保持可理解的顺序,焦点不突然跳走;用户能够到达页脚与主要操作。
  • 移动端:手机如果改成另一套加载逻辑,要重新检查内容与链接,不能只验桌面分页。
  • 长列表:衡量内存、图片请求和交互响应。如果使用虚拟列表移除旧DOM,仍需确保每个独立分段可取得完整内容。

保留“加载更多”按钮、传统分页,或用二者增强连续滚动,均可成立。选择取决于真实任务和实现;没有适用于所有电商、文章列表的固定转化提升比例。

上线前用这组URL复测

测试对象应核实的结果
第一页、中间页、最后一页直接请求取得对应条目,链接前后连通,规范URL与robots正确
一个越界页真实错误状态或合理明确的处理,不循环生成空列表
一条只在后续列表中的详情有可解析的入链,详情能访问,GSC索引状态独立核验
手机、无既有会话与键盘操作内容不依赖先前滚动;返回、刷新、分享与下一页能使用
Google渲染HTML对应分段的条目与链接确实存在,而不只是一张正常截图

如果渲染HTML仍缺正文,继续按Vue/React与JavaScript SEO诊断排查资源、接口和条件渲染。修复发布后观察实际抓取与索引,不把一个实时测试通过写成所有商品已经收录。