在AI应用开发的实践中,RAG(Retrieval-Augmented Generation)已成为解决大模型知识局限性的基石。然而,传统的RAG流程——即“用户提问 → 转为向量 → 检索Top-k片段 → 生成答案”——虽然简单稳定,却也面临着上下文断裂、逻辑缺失和检索策略僵化等“硬伤”。
随着技术的发展,出现了三种被寄予厚望的“替代”方案:超长上下文(Long Context)、Agentic Retrieval 和 LLM Wiki。它们并非要彻底消灭RAG,而是从不同维度对其进行升级和补强。
🔍 传统RAG的三大“阿喀琉斯之踵”
在探讨新技术前,我们需要明确传统RAG的瓶颈所在:
- 上下文割裂:文档被切分为固定长度的Chunk(片段),导致跨页引用、表格关系和完整逻辑链丢失。
- 检索逻辑僵化:检索策略在系统运行前已固定,LLM仅作为“总结器”被动接收检索结果,不参与检索决策。
- Top-k的局限:返回的往往是“最相似”的片段,而非“最能回答问题”的证据,容易遗漏深层关联信息。
📜 方案一:超长上下文
核心理念:绕过检索,全局推理
超长上下文技术的思路非常直接:既然切分文档会导致信息丢失,那就直接将完整的文档、代码库甚至会议纪要塞进模型的上下文窗口中。
- 如何运作:
- 传统RAG:知识库 → 检索 → 拼接 → 模型
- 超长上下文:完整文档库 → 直接输入 → 模型
- 解决痛点:完美解决了Chunk切分带来的上下文断裂问题。它让模型能够基于全文进行逻辑推理,非常适合处理合同、财报、大型代码文件等需要“逐字审阅”和“全局理解”的单文档场景。
- 局限性:
- 规模限制:企业级知识库往往是TB级的,无法全部塞入上下文。
- 成本与延迟:上下文越长,Token消耗越大,推理延迟越高。
- 注意力衰减:模型在处理超长文本时,对中间部分的关注度可能会下降。
一句话总结:读一遍、单文件、不改了 → 优先考虑 Long Context。
🤖 方案二:Agentic Retrieval
核心理念:让模型成为主动的“研究员”
如果说传统RAG是一次性“百度一下”,那么Agentic Retrieval就是让模型化身为主动思考的“特工”或“研究员”,将检索过程变为推理的一部分。
- 如何运作:
- 传统RAG:Query → Retrieve → Generate。
- Agentic Retrieval:Reason(思考) → Action(行动) → Observe(观察) → Decide(决策)。
- 解决痛点:打破了“一次性检索”的僵局。模型可以根据当前掌握的信息,动态决定搜什么、什么时候搜以及下一步搜什么。它通过ReAct(推理-行动-观察)循环,像人类一样逐步缩小搜索范围,直至找到根因。
- 典型应用:复杂故障排查。例如分析“退款率升高”问题时,Agent会先查日志发现支付失败,再查代码库确认版本变更,最后整合信息得出结论。这是传统RAG难以企及的多跳推理能力。
- 技术架构:通常包含工具层(Tool)、规划器(Planner)、记忆层(Memory)和执行运行时(Runtime),常用框架包括LangGraph、AutoGen等。
一句话总结:查多步、跨系统、找根因 → 首选 Agentic Retrieval。
🧩 方案三:LLM Wiki
核心理念:构建结构化的知识导航系统
LLM Wiki反对将知识简单粗暴地切碎成向量片段,而是主张将企业知识整理成类似维基百科(Wikipedia)或Confluence那样的结构化网络。
- 如何运作:
- 传统RAG:文档 → Chunk → 向量 → Top-k → 答案。
- LLM Wiki:页面 → 摘要 → 实体 → 链接 → 图谱 → 导航。
- 解决痛点:解决了知识的“碎片化”和“孤岛”问题。它保留了页面的层级目录(Hierarchy)、实体间的双向链接(Bi-directional Links)以及完整的语义关系。模型不再是在“大海捞针”,而是在一个有组织的知识网络中进行语义导航。
- 核心能力:
- 页面化(Page-based):保留文档的完整主题和边界。
- 实体关系(Entity Relationship):构建知识图谱,支持多跳推理。
- 自动索引(Auto Indexing):结合向量、关键词(BM25)和图谱搜索的混合检索。
- 挑战:构建和维护成本高,需要复杂的文档解析、实体抽取和关系构建工程。
一句话总结:要沉淀、强关联、常更新 → 首选 LLM Wiki。
🧭 选型决策指南:如何选择合适的技术?
这三种技术并非相互取代的“单选题”,而是适用于不同场景的“组合拳”。
| 技术方案 | 核心能力 | 最佳适用场景 | 不适用场景 |
|---|---|---|---|
| 超长上下文 | 全局阅读与推理 | 单文档分析(合同/财报)、一次性精读任务 | 海量知识库、高频更新、低延迟要求 |
| Agentic Retrieval | 动态多步检索 | 复杂根因分析、跨系统数据整合、非标准问题 | 简单FAQ、固定问答、小型知识库 |
| LLM Wiki | 结构化知识导航 | 企业知识资产沉淀、强关联文档体系、长期维护 | 超实时数据(如股票行情)、短期临时资料 |
💡 结语
所谓的“替代RAG”,本质上是RAG技术在不同维度上的进化与升级。
- 超长上下文 解决了“怎么完整读长文档”的问题;
- Agentic Retrieval 解决了“怎么主动、多步、跨系统查资料”的问题;
- LLM Wiki 解决了“怎么把企业知识结构化、可导航、可持续演化”的问题。
未来的终极形态,很可能是这几种技术的融合:基础知识库依托RAG,长文档分析调用Long Context,复杂任务派遣Agentic Retrieval,而所有知识资产则统一沉淀在LLM Wiki之中。 RAG并未过时,它正在演变为一个更完整的企业级知识智能系统。
随时随地看视频