修改robots.txt后,要分三件事确认:公网是否已返回新文件、Google是否重新获取、目标页面是否重新处理。Google通常将robots.txt缓存至多24小时,但获取失败时可能更久;这不是“改完24小时内必收录或删除”的保证。
先确认修改实现的是哪种目的
| 目的 | 需要做什么 | robots.txt的作用 |
|---|---|---|
| 恢复被误挡的公开文章 | 移除相应抓取限制,再检查noindex、canonical、状态与正文 | 允许重新请求,不保证一定索引 |
| 让公开页面不出现在搜索中 | 使用适当noindex,并允许Google读取 | 不能用Disallow替代noindex |
| 保护客户资料或后台 | 实施真正的身份验证与访问控制 | 不是保密措施 |
| 减少无用URL组合的抓取 | 先识别实际路径与内容用途,再设计规则 | 控制遵守规则的爬虫请求范围 |
被Disallow挡住的URL仍可能出现在搜索结果中。过了几天还能搜到它,并不能据此认定规则没有生效。需要排除索引时参考Google noindex说明。
Google怎样缓存与读取robots.txt
当前Google robots.txt规范说明:缓存通常至多24小时;超时、5xx等导致无法刷新时可能延长,Cache-Control的max-age也可能影响缓存寿命。不要将它改写成“所有站每天固定至少请求一次”或按域名外链数量推算更新倍数。
规则只作用于对应的协议、主机和端口。例如www、非www、shop子域以及不同非默认端口,不能因为属于同一公司就共用一份规则的效力。文件应放在对应站点根路径/robots.txt,使用UTF-8纯文本。
Google处理的大小上限为500 KiB,即512,000字节,超出部分会被忽略。它忽略文件开头的Unicode BOM及无效行,只使用有效规则。规则支持有限通配符,不等于任意正则表达式;也不支持用crawl-delay控制Googlebot。
发布后先检查公网实际返回
备份原文件及预期改变的路径,发布后用真实GET核对响应和正文。以下命令仅作读取示例,域名需换成自己的:
curl -sS -D robots.headers -o robots.txt \
https://example.com/robots.txt
检查是否下载到了新规则,还是登录页、防护挑战、错误页或CDN旧缓存。存在受影响缓存时定点刷新并读回;不必为了这一个文件清空所有资源。不要只凭本地文件已保存就判定发布成功。
至少选一条应该允许、一条应该阻止的真实URL验证,同时检查路径大小写与具体User-agent组。Google优先使用匹配的具体爬虫组,并不是把所有User-agent: *规则无条件叠加上去。
Search Console中怎样请求重新获取
按Google更新robots.txt说明,可通过Search Console robots.txt报告查看Google已获取的版本,并在适用的报告操作中请求重新抓取。选择与目标主机相符的文件,保留请求时间与随后显示的获取结果。
报告存在权限及资源类型限制时,使用有权访问的对应资源,不靠反复点击其他工具代替。请求重新获取不等于Google已经完成所有页面的重新索引,也没有通用的“1分钟”“10分钟”或“48小时必完成”承诺。
不同响应码为什么会产生不同后果
| robots.txt响应 | Google公开说明的主要处理 |
|---|---|
| 2xx | 处理返回的规则,仍需确认正文有效 |
| 3xx | 跟随至少5次HTTP跳转,随后停止时按robots.txt 404处理;不跟随文件中的JS或meta跳转 |
| 多数4xx,包括401/403/404 | 按不存在有效robots.txt、没有抓取限制处理;429不属于这一通用处理 |
| 5xx或相应网络错误 | 先暂停站点抓取并重试,随后可能采用最后的有效缓存;需按错误持续时间和站点可用性判断 |
在5xx情形,官方描述先暂停抓取12小时并持续重试;仍取不到时,接下来30天尝试使用最后有效版本并继续获取。超过该阶段后的行为还取决于站点整体是否可用。这里说的是故障处理流程,不能当作正常更新应等待的日程。
文件已更新,页面仍不收录怎么办
对一个重要URL做网址检查,分清Google索引中的历史状态与当前实时访问结果。确认页面能返回正确内容、没有其他索引限制,并且有相关内链和适当地图入口。请求编入索引只是后续处理入口,不保证结果。
服务器日志可以核对后续请求,但User-Agent写着Googlebot还不足以确认身份;应按官方方法验证请求来源。Search Console抓取统计是报告,不是逐秒完整访问日志。日志中出现一次新请求,也不能证明全部URL已经重新处理。
记录“公网规则版本—Google获取时间—抽样URL当前访问—之后的索引状态”,就能判断停在哪一层。不要把某日GSC数量变化或某条URL仍有标题,解释成外链数量触发的固定等待期。