跳至正文
GEO · Google SEO

llms.txt到底有没有用?先看读取方,再决定怎么做

// / / 光算科技

llms.txt值得不值得做,先看谁会使用它、要完成什么任务。它是一份给代理提供站点说明和资料入口的社区提案;Google明确说,Google搜索及其生成式搜索功能不需要这些特殊文件,也不会因为维护它而给可见度或排名加分、减分。若你的文档工具或目标代理确实支持它,则可以把它作为一项内容访问改进来评估。

把“已发布文件”“工具能解析”“实际读取了资料”和“搜索引用增加”分开记录,会更容易决定优先级。一个文件返回200,只证明这次请求取得了响应;后续是否找到正确页面、是否回答准确,还要继续检查。

提案已经到v2,根目录不是唯一位置

Jeremy Howard的提案首次发表于2024年9月3日,当前v2修改日期为2026年8月10日。提案主张用Markdown提供简短背景、使用说明和详细文档链接。文件既可放在根路径,也可放在子路径;例如/docs/llms.txt覆盖/docs/下面的页面。存在多个适用文件时,提案建议使用范围最具体的那个。

所以,先看你实际控制哪个公开路径、需要描述哪组资料,再确定位置。服务器里的物理文件夹不等于公开URL,反向代理或文档平台还可能有路径前缀。不要把“放在根目录通常方便”写成“放在子目录必定无效”。不过,目标工具若只查根路径,则仍需按它的实际支持方式测试。

原创插画:llms.txt目录牌、读取方机器人与详细资料书册,是否使用由读取方选择
本次原创场景插画:目录为读取方指向详细资料;选择使用后仍须按需取得内容。手机版本重新上下排布。仅说明提案用途,不是真实平台界面、内部算法或读取结果。

提案建议代理先查看或搜索目录,再按需要取链接里的详细内容。它不能强迫读取方使用,也不是访问许可或训练退出设置;图中的指路场景仅是类比,不代表任何厂商的内部处理流程。

Google搜索和Lighthouse审计为什么说法不同

Google生成式搜索优化指南说明,不需要为Google搜索创建llms.txt、新的AI文本文件、专用标记或Markdown,Google搜索不使用这些特殊文件。其他非HTML文件仍可能被发现、抓取或索引,但这不是llms.txt获得特殊排名待遇。

同一指南也明确允许为了其他使用这些文件的系统维护它。这里的判断对象是Google搜索,不能扩大成Google所有产品、所有编码代理或全部AI服务都不会读取。

Chrome的Lighthouse智能体浏览审计则检查另一件事:尝试取得llms.txt时遇到服务器错误会标记问题;若没有提供而返回404,目前标为“不适用”,因为它是可选项。该审计建议根路径,并不取消提案对子路径的支持;审计通过也不能证明Google排名、收录或某个AI的引用增长。

有人生成文件,不等于每个平台都会消费

提案页列出开发者文档站与文档平台的采用实例。一个AI厂商给自己的开发文档提供目录,说明它在内容提供方这一侧方便读取,不等于该厂商所有搜索产品都会自动寻找每个网站的llms.txt。原提案对采用规模的描述也不是本站独立完成的市场统计。

例如Mintlify的实现文档说明,它会生成llms.txt和汇总正文的llms-full.txt,并有自定义覆盖、语言与版本选择、认证和大型目录分片等规则。这能帮助使用该产品的人排查生成结果,但这些规则是产品实现,不是所有站点必须遵守的统一限制,也不能据此证明所有代理都已取用。

OpenAI、Anthropic与Perplexity的本次所核爬虫文档,分别描述机器人用途与访问控制,没有把llms.txt列为相应控制开关。这一观察只适用于所核文档,不能从“这里没提到”推导成所有产品都从不读取。

怎样判断值得投入多少维护

你的目标先核什么怎样验收
让支持该文件的编码代理找到API资料目标工具的发现方式、版本及实际权限从目录能否到达正确版本,回答能否对上原文
给内部助手提供受控资料入口读取程序、认证和内容同步方式真实任务是否取到所需资料,错误与遗漏是否可定位
提高Google搜索排名或AI展示当前搜索资格、页面内容与基础技术问题另看搜索结果和真实数据,不把llms.txt作为排名修复项
只听说“所有企业都应该做”谁来消费、谁负责维护、现有问题是否更重要需求不明确时先保留为可选项,不以文件存在算效果

首次写一份短目录可能很快,持续维护未必始终成本极低。产品版本、多语言、失效链接、权限变更和自动生成质量都需要人负责。已有自动生成能力,也应抽查它是否把废弃资料、错误描述或不该公开的信息输出了。

决定使用后,按内容范围组织文件

按当前提案,H1站点或项目名称是唯一必需部分;可随后给简短引用块摘要、说明文字,以及用H2分组的链接列表。列表项目需要链接,可以附简短解释。实际有用的目录应让读取方知道链接里有什么、适用于哪个版本,而不是仅为满足格式输出一个空标题。

可以先选一组公开资料试行。例如一个虚构设备文档目录:H1为“示例设备资料”;摘要说明适用系列;“安装”组链接到安装说明,“维护”组链接到保养条件。每条说明写清型号和版本。这里仅演示组织方法,不指称本站已部署这种文件或任何代理已经读取。

详细页面可以提供对应的Markdown版本。v2允许在原URL后追加.md,也允许替换原扩展名;无文件名路径另有index.md等约定。它们是提案约定,实际发布后仍要请求验证,不能只拼出一个看起来像Markdown的URL就假定文件存在。

v2变更说明还补充了发现方式:可用rel="alternate"与text/markdown指向页面Markdown,用rel="describedby"指向适用的llms.txt,并通过HTML链接元素或HTTP Link头提供。使用这些关系前先核当前平台和代理是否支持,别把某个产品自己的发现头当作通用要求。

“Optional”仍可作为次要链接的惯例分组,但不应再依赖旧上下文展开工具的机械省略语义。文件应精简而有选择;llms-full.txt等全文汇总也要看实现和用途,不能认为越大越全就必然越有效。

上线后核路径、内容和真实任务

  1. 取得实际响应。记录最终URL、状态、响应类型和正文,排除返回200的登录页、挑战页或错误壳。目录存在和内容可读分别检查。
  2. 沿链接核资料。逐个检查本轮涉及的入口、跳转、版本、语言和权限;大目录可按真实范围分批核,不把抽样写成全部通过。
  3. 对照公开页面。参数、单位、适用条件和更新时间保持准确,修正文档时同步目录说明;过期文件不必整份判为无价值,应定位仍有效与已失效部分。
  4. 用目标读取方做任务。明确给定入口、工具版本与问题,保存实际请求和输出,核答案能否被资料支持。人工把文件交给代理的成功,不等于代理会自行发现。
  5. 约定维护触发条件。新版本、迁移、下线和权限变化时检查;按实际使用频率补定期复核,不机械指定所有站点相同周期。

不要把私有资料的安全寄托在文件名或robots.txt上;需要权限的内容仍用适当认证控制。各机器人允许或限制的设置,可从robots.txt与AI爬虫用途的区别进入,具体规则以目标平台当前文档及实际响应为准。

如果网站本身还有内容空壳、链接发现或索引异常,优先沿HTML与JavaScript渲染检查和“已发现,尚未编入索引”的诊断定位。光算GEO服务会结合官网技术、品牌资料和实际项目需求安排工作;文件上线、读取成功、AI引用与有效咨询分别观察。