官网没有出现在一次AI回答里，不足以证明它没被抓取，也不能直接断定内容质量有问题。先确认产品和模式是否使用搜索、实际问了什么、回答有没有来源，再沿具体URL检查请求、平台参与设置与页面信息。技术访问、搜索纳入、被选作来源和品牌被提及是不同状态。
先保存回答，再确定要查哪条路径
记录问题原文、语言、平台、模式、时间与可控环境，保存完整回答及其来源链接。服务超时或没有取得回答，应记“监测失败”，不能记为一次未引用。若来源来自媒体或其他市场版本，先打开原文核事实；不能只搜索官网域名就结束判断。
选出真正回答该问题的页面，再检查它是否可访问、可被相应搜索功能使用，以及正文能否支持答案。若站内根本没有对应型号、版本或适用条件，应补齐可靠资料；若已有准确资料，则继续查抓取与设置证据。两条工作可以并行，没有必要凭一次回答猜一个唯一原因。
搜索、训练和用户触发访问不能混成一个开关
| 平台 | 需要区分的机器人 | 按当前官方资料理解 |
|---|---|---|
| OpenAI | OAI-SearchBot / GPTBot / ChatGPT-User | 分别用于搜索、可能用于训练的抓取、部分用户动作；搜索与训练设置独立 |
| Perplexity | PerplexityBot / Perplexity-User | 前者用于搜索发现，后者用于用户请求；文档说明后者一般忽略robots.txt |
| Anthropic | Claude-SearchBot / ClaudeBot / Claude-User | 分别涉及搜索、模型训练与用户触发读取；其文档说明这些机器人遵循robots.txt |
OpenAI机器人说明指出，拒绝OAI-SearchBot的网站不会出现在ChatGPT搜索回答中，但仍可能出现为导航链接；ChatGPT-User不用于决定搜索纳入。其用户发起的动作可能不适用robots规则，因此不能把ChatGPT-User放行当成搜索设置已经正确。
Perplexity机器人说明将搜索机器人与用户获取器分开，后者不用于网页爬行或基础模型训练。Anthropic机器人说明则说明停用Claude-User会阻止用户请求时取回内容，停用Claude-SearchBot会阻止相关搜索索引。不要把某个平台的用户访问规则套用到其他平台。
robots.txt先核地址范围，再读组与路径
根据Google的robots.txt解释，文件只对它所在的主机、协议和端口生效。https://example.com/robots.txt不能直接代表http://example.com/或另一子域的规则；默认端口与对应的省略端口形式等价。多语站要逐一列出实际域名与URL，不能只查主站。
字段名不区分大小写，User-agent的值也不区分；但Allow、Disallow的路径值区分大小写。Google示例中/fish可匹配以该字符串开头的路径，却不匹配/Fish.asp。把“字段名和值都不区分大小写”当通则，会漏掉真实路径差异。
连续列出的多个User-agent可以共享后面的规则；还要按目标机器人的实际实现检查更具体的组、重复组与路径规则。Google选择最具体的匹配用户代理组，同一特定用户代理的多个组会合并，特定组不与*组合并。不能只截取一段Disallow: /，就推断整份文件对每个机器人都生效。
保存公开请求拿到的robots原文、状态、重定向和时间，并检查CDN是否仍在返回旧规则。robots是抓取管理，不是访问密码；Google也可能显示无法抓取内容的URL而没有摘要，不能将robots拒绝与已从索引删除画等号。
CDN和WAF是不是障碍，要靠请求记录判断
检查CDN/WAF与源站日志中的时间、客户端来源、请求路径、响应、规则命中和挑战结果。200也可能返回登录页或反爬提示，应继续核正文、关键资源与渲染内容；403、429、超时或TLS失败分别记录，不能一概叫“网页不存在”。
OpenAI与Perplexity文档提供各用途的官方IP列表入口，Anthropic文档也链接来源IP列表。按检查当时的官方资料核IP和User-Agent，不能只相信请求头中的机器人名字。Perplexity的WAF示例要求结合两者；这不表示应把所有安全规则永久绕过。具体调整应由负责人员针对已确认的误拦截实施并复测。
从同一台机器换User-Agent请求，可以发现与该请求头相关的差异，但来源IP、地区、TLS指纹、缓存与速率条件仍不等于真实机器人。两次结果相同也不能排除其他限制。没有日志或平台测试时，写“当前自测可访问，真实机器人未证实”，比直接判定已放行更准确。
Google还要核索引、摘要与AI参与设置
Google AI功能说明将已索引、具备搜索摘要展示资格列为支持链接的基础要求，并建议允许robots及CDN/托管设施抓取、让重要信息在文本中可用。它没有证明WAF是所有网站最常见的失败原因，也不保证满足条件后某次回答就会选择该页面。
另核Search generative AI control：官方帮助注明自2026年8月31日起全球推出，可在Search Console的Settings → Search generative AI查看Include、Exclude或父资源继承及覆盖情况。不要由文档默认值推断本站实际状态。该控制与Google-Extended训练控制分开，也不作为其他Search部分的排名或纳入信号。
检查最终HTML和HTTP头中的索引与摘要指令。noindex、nosnippet、max-snippet及data-nosnippet作用不同，应对照页面原本的公开、版权和业务意图处理。重要事实写清型号、日期、单位、条件及来源；图片、视频可以支持理解，不必删掉，但不要只把关键答案埋在图片或必须操作后才出现的区域。
Google生成式AI优化指南说明，不需要为Google搜索AI功能创建新的专用机器可读文件或特殊标记。不能把llms.txt或某种Schema当作跨平台引用通行证；有具体工具用途时按该工具真实支持来判断。
修复后怎样复测，多久才能下结论
按相同URL复查源站、CDN响应、实际规则和内容，再查看后续真实请求与平台数据。OpenAI文档提到搜索设置在robots更新后约24小时调整；这是特定设置传播说明，不是24小时内抓取、索引或引用的承诺。Perplexity当前说明只提醒WAF配置传播可能耗时，不能补成统一24小时。页面重新抓取与被选作来源另看实际记录。
Google已有独立生成式AI曝光报告，但曝光不足可能不显示；它不等于所有平台的品牌提及率。回答已提到品牌却没链接官网时，可继续看品牌提及、来源与Google AI报告的区别。回答事实有误时，保存原回答并核对当前官网资料与可见来源：确认错误后修正可控制的页面，无法控制的来源可联系发布者；没有来源链接时也可以先检查自家公开资料，不据此推断错误必定来自某页。
产品页自身未索引，应分别检查访问响应、索引指令、规范地址、正文渲染和站内入口，再结合有权限资源的URL检查判断。抓取量突然下滑时，可结合GSC主机状态与日志定位。需要协同处理页面资料、信源和持续观察，可与光算GEO服务明确检查范围。