如何开始使用llms.txt文件

学会如何在您的网站和文档里使用llms.txt。

你知道什么是llms.txt吗？

llms.txt 文件是一个 建议的标准，帮助 AI 模型更好地理解并交互您的网站内容。与 robots.txt 或 sitemap.xml 不同的是，它专门设计用于通过提供结构化内容概览和导航路径来增强 AI 交互。

目的和好处有哪些

• 增强的AI理解能力：提供网站内容的结构化概要，帮助AI系统更快更准确地理解您的网站
• 高效的信息检索：使AI系统能够高效地定位和检索相关信息
• 改进的上下文理解：通过提供内容之间的上下文和关联减少误解
• 更好的用户体验：当用户与AI互动时，带来更准确和有上下文意识的响应
• 克服上下文限制：通过提供精简的内容访问，帮助AI系统克服上下文窗口的限制

llms.txt 和 robots.txt 以及 sitemap.xml 有哪些不同？

尽管这些文件看起来相似，但它们各自有不同的用途：

• robots.txt ：重点在于控制搜索引擎爬虫访问，但无助于内容理解
• sitemap.xml ：列出了所有可索引页面，但没有提供上下文或帮助处理内容
• llms.txt ：专门应对AI相关挑战，提供优化的AI处理格式的内容结构

llms.txt 规格说明

这里定义了两个不同的文件：

这两个文件分别是：

• /llms.txt : 一个简化的文档导航，帮助AI系统快速了解网站结构
• /llms-full.txt : 一个包含所有文档的完整文件

这两个文件都用了Markdown格式，这种格式自带自然的层级关系，让AI模型解析起来很方便。

入门指南

1. 构建文件结构

在 llms.txt 文件中，使用了具有特定结构的 Markdown 格式：

    # 你的网站/项目名称

    > 你的网站或项目的简要描述

    ## 文档

    - [入门指南](https://dev.to/docs/getting-started) - 入门指南
    - [API 参考](https://dev.to/docs/api) - 完整的 API 文档
    - [教程](https://dev.to/docs/tutorials) - 详细教程

    ## 示例

    - [基本实现](https://dev.to/examples/basic) - 简易集成示例
    - [高级功能](https://dev.to/examples/advanced) - 如何使用高级功能

    ## 可选资源

    - [社区论坛](https://dev.to/community) - 寻求其他用户帮助
    - [变更日志](https://dev.to/changelog) - 查看更新日志

切换到全屏 / 退出全屏

2., 把文件放到正确的地方

将文件保存为llms.txt，并将其存放在你网站的根目录下，确保可以通过yourwebsite.com/llms.txt访问它。如果你创建了一个完整版本，将其保存为llms-full.txt。

3. 添加 HTTP 头信息（可选但建议使用）

添加以下的 HTTP 头部到你的服务器的配置中。

X-Robots-Tag: llms-txt

全屏模式 退出全屏

4. 验证实施

试试你的实现：

1. 访问 yourwebsite.com/llms.txt 页面
2. 检查 HTTP 头信息
3. 验证文件格式是否正确

使用 llms.txt 文件在 AI 系统中交互

目前，大多数AI模型并不会自动找到和整理llms.txt文件，如果你想让你的llms.txt文件与AI系统配合使用，

1. 直接链接：提供一个链接给AI，指向你的llms.txt文件
2. 直接复制：将llms.txt文件的内容直接复制粘贴到你的提示中
3. 文件上传：如果该功能可用，请使用AI工具的文件上传功能

随着采用的增加，越来越多的AI系统很可能会开始自动查找llms.txt文件。

在哪里可以找到所有这些 llms.txt 文件？

llms.txt 中心网站 正在迅速成为一个流行的开源中心，追踪所有已实施 llms.txt 和 llms-full.txt 标准的网站。定期更新的，你可以通过这个全面的目录查看所有符合这些标准的网站列表。

• 发现各行各业和各种平台上真实世界的实现
• 研究领先组织如何构建它们的 llms.txt 文件
• 获取与标准相关的最新新闻和动态
• 查找开源工具、插件和资源，以便在自己的网站上实现 llms.txt 功能

通过探索这个目录，开发人员和内容创作者可以了解实现的方法，掌握最佳实践，并与遵循 llms.txt 标准优化内容以适应 AI 系统的网站社区交流。

生成工具类

这里有一些工具可以帮到你创建llms.txt文件：

• llmstxt by dotenv，一个开源的命令行生成工具，根据网站的 sitemap.xml 文件生成 llms.txt 文件。
• llmstxt by Firecrawl，使用 Firecrawl 生成 llms.txt 文件。
• Mintlify，一个文档平台，支持生成 llms.txt 文件

实际案例

很多组织已经采用了 llms.txt 标准：

• Cloudflare: 详尽且令人印象深刻的关于所有Cloudflare服务的文档
• Anthropic的llms.txt: 他们的文档和提示库
• Perplexity的llms-full.txt: 涵盖了他们所有文档和内容网站的全面资料
• ElevenLabs: 关于其API和产品指南的文档

最佳做法

1. 保持更新：定期更新您的llms.txt文件，随着您的网站结构的变动，以确保AI系统能获取最新的信息。

2. 用清楚的Markdown格式：

• 用 H1 标签命名项目
• 包含一个引用总结
• 使用 H2 标题组织文档链接
• 为每个链接提供简短说明
  1. 精选资源：重点关注 llms.txt 中最重要的资源，将不太重要的内容放在可选部分。

1. 测试AI系统：确保AI能够根据你的llms.txt文件正确理解和处理你的内容。

2. 优化AI处理流程：移除llms-full.txt中的冗余标记和脚本，让AI模型更专注于重要内容。

资源

• llms.txt 标准草案
• GitHub 代码库
• 社区讨论区