无限滚动页面不一定要改回传统分页。可以保留连续浏览体验,同时让每一段列表拥有可直接打开的稳定URL、可抓取的链接和正确的内容。真正要修的是后续内容只能靠滚动或点击才出现、没有独立访问路径的实现。
Google的分页与增量加载文档明确说明:爬虫通常沿a元素的href发现URL,不会像人一样点击“加载更多”按钮。页面装了JavaScript并不意味着一定有问题;关键是后续商品或文章能否被实际取得。
先确认:没收录的是列表,还是后面的详情页?
这两种情况要分开。分类第二页不在搜索结果中,不足以证明其中的商品都没被发现;商品本身已有索引,也不能证明无限滚动的发现路径健全。
- 选一条只在后续列表出现的商品或文章,记录它的完整详情URL。
- 找出承载这一项的列表分段地址。如果只能说“往下滑几屏”,还没有独立URL,就先排查分段机制。
- 分别检查该列表地址与详情地址的HTTP状态、robots、canonical和正文;有GSC权限时分别做网址检查。
- 查看分类正文、分页和其他相关页面有没有指向详情的链接,不把sitemap中有URL当成站内路径已经完整。
若后续列表本身可打开、商品链接也存在,但详情页仍未索引,继续调查详情页的内容、规范化与索引状态。不要仅因为它出现在“第二屏”就断定Google降低了权重。
把连续滚动建立在可访问的分页之上
每一段有稳定地址,直接访问也能取得对应内容
可以使用/catalog/?page=2或/catalog/page/2/,不必为了消除问号迁移整套URL。Google的懒加载说明要求无限滚动支持分段加载,并为各段提供持久、唯一的URL。不要用#page=2充当独立分页,也不要用“昨天”“下一批”这类相对描述作为唯一定位方式。
URL应稳定代表相应分段,不依赖先滚过第一页或浏览器里的临时状态。内容正常上新会改变列表,但应保持可解释的排序,避免同一次浏览因随机排序或插入数据而反复跳项、漏项。需要精确恢复位置的实现,可以采用可持久解析的游标或快照方案,同时确保直接访问仍然成立。
保留用户也能使用的分页链接
以下是第二页的HTML结构示意。正式页面还应输出第二段真实条目;链接样式可按网站设计调整,不应为爬虫藏一套用户无法使用的导航:
<!-- 第二页的head中 -->
<link rel="canonical" href="https://example.com/catalog/?page=2">
<!-- 第二页的正文中 -->
<nav aria-label="目录分页">
<a href="/catalog/">上一页</a>
<span aria-current="page">第2页</span>
<a href="/catalog/?page=3">下一页</a>
</nav>
JavaScript可以在此基础上增强交互,让新条目追加到当前列表。无论是否使用增强,刷新第二页、复制URL到新窗口、用键盘访问“下一页”,都应该有可用结果。设计正文与列表的内部链接时,先保证读者能找到下一步,不靠隐藏链接凑数量。
让地址栏与主要可见分段相对应
滚动加载后,当新的分段成为主要可见内容,可通过History API更新地址。返回、刷新与分享应恢复相应位置,而不是总落回第一页。需测试popstate处理、焦点、筛选条件与滚动恢复;只调用一次pushState而不支持直接访问,仍没有解决发现问题。
canonical与robots:别把后续内容一起关掉
内容不同的分页不应全部canonical到第一页。Google建议各分页使用自己的规范URL。第一页若同时存在/catalog/与/catalog/?page=1等同内容别名,可以选定一个版本并统一链接;这是同内容别名处理,与把所有分页合成第一页不同。
需要承担发现和展示任务的正常分页,不要被统一的参数屏蔽规则误伤。筛选、排序和重复组合是否保留索引,要另按价值与规模决定,不能见到问号就全部屏蔽。若使用noindex,必须让爬虫能读取它;robots.txt禁止抓取不能替代noindex。
过去常见的head中rel="next"和rel="prev",Google已不再用来识别分页关系。可以为其他用途保留,但它们不替代正文里的真实链接。分页标题与description可加入页码帮助读者区分;Google也允许同一序列共用标题与描述,并没有“每页不唯一就不能索引”的规则。
滚动体验需要单独验收
可抓取并不自动等于好用。无限滚动是否适合你的目录,还要看用户能否定位、比较与返回。
- 加载中与失败:提供清楚的状态和重试入口。接口失败不能悄悄变成“没有更多了”,也不能重复添加同一批条目。
- 页面终点:数据耗尽后停止加载;无法成立的越界分页不要无限返回200空壳。可用404表达不存在的分段。
- 键盘与阅读顺序:新内容追加后保持可理解的顺序,焦点不突然跳走;用户能够到达页脚与主要操作。
- 移动端:手机如果改成另一套加载逻辑,要重新检查内容与链接,不能只验桌面分页。
- 长列表:衡量内存、图片请求和交互响应。如果使用虚拟列表移除旧DOM,仍需确保每个独立分段可取得完整内容。
保留“加载更多”按钮、传统分页,或用二者增强连续滚动,均可成立。选择取决于真实任务和实现;没有适用于所有电商、文章列表的固定转化提升比例。
上线前用这组URL复测
| 测试对象 | 应核实的结果 |
|---|---|
| 第一页、中间页、最后一页 | 直接请求取得对应条目,链接前后连通,规范URL与robots正确 |
| 一个越界页 | 真实错误状态或合理明确的处理,不循环生成空列表 |
| 一条只在后续列表中的详情 | 有可解析的入链,详情能访问,GSC索引状态独立核验 |
| 手机、无既有会话与键盘操作 | 内容不依赖先前滚动;返回、刷新、分享与下一页能使用 |
| Google渲染HTML | 对应分段的条目与链接确实存在,而不只是一张正常截图 |
如果渲染HTML仍缺正文,继续按Vue/React与JavaScript SEO诊断排查资源、接口和条件渲染。修复发布后观察实际抓取与索引,不把一个实时测试通过写成所有商品已经收录。