继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

检索增强生成即服务:开发者的得力新帮手

ABOUTYOU
关注TA
已关注
手记 475
粉丝 67
获赞 359

就这样吧:

你绝对不可能在一百万年里,甚至更别提建立自己的邮件服务器——更别提建立自己的大型语言模型了,或者在大多数情况下的自己LLM。

你吗?

可是,我看到这么多公司都在努力打造自己的RAG(检索和生成)流程。

开发人员展示他们基于Langchain的RAG管道——却不知道他们在生产中会遇到巨大的挑战。

真的——我在波士顿的一个会议上遇到了一家初创公司,他们真的使用Langchain驱动的RAG流程发布了他们的MVP,然而几天之后,他们却坐在一起讨论从技术栈中移除Langchain。

真是太糟糕了——他们没有把精力放在市场契合度或其他能推动业务发展的因素上,而是重新构建技术栈——真是浪费了开发者的精力——他们好像在自己建造大型语言模型,而不是使用OpenAI的API。

这里有个小建议:RAG即服务

让别人来做繁重的工作,等它上线后,再进行维护和升级。

我可不是在说笑——我们不得不花40,000工时来构建这样的RAG即服务,这背后是有原因的。

我在谈论像“RAG”这样的功能,比如自动与源内容保持同步——这样当你的知识更新时,你的AI也会随之更新——你会在你的RAG系统中加入这个功能吗?

(侧注:这实现起来简直是噩梦——试着让你自己的 Google Drive 和一个 RAG 流程保持同步,你就能体会了!)

为为什么构建RAG系统有挑战性

让我讲清楚一点:RAG管道的构建已经变得非常复杂。

你不再只是写代码了,你现在正应对海量数据整合、云端架构以及各种大语言模型集成的挑战。

加入诸如准确性、可审计性、错误生成和可解释性这些新问题。

例如:试着向你的老板或客户解释为什么AI会那样做——然后在RAG整个流程中调试那个单一查询。

Langchain 不适合用于生产环境。原因在这里 …从幻觉到缺少引用和来源。从数据摄入问题到查询相关性不足。从……medium.com

这篇文章链接到原文:这篇文章

问题是:传统的开发方式根本跟不上业务需求

随着 OpenAI 让用户和企业期望高涨,努力跟上客户需求(或者当你老板进来问“嘿,你的 RAG 管道能不能做 X 呀?”)

有更好选项吗?

想想看:你已经在广泛使用OpenAI的大模型API——为什么?这是因为OpenAI解决了所有关于准确性和托管大模型的问题。

最好的部分是:他们每个月都在不断改进。

为什么?因为他们就是这样做的。

同样,RAG即服务的提供商日复一日地改进RAG流程——而这每天都在为你带来好处。

构建自己RAG数据管道时遇到的问题

让我给你展示一下,如果你自己搭建RAG管道的话会遇到什么(相信我,这还只是问题的一半)

图片来源: datasciencedojo.com

数据访问和检索不高效

问题是:

你的团队正在虚掷大量时间在搭建数据管道上。

并保持它们同步。

而最糟糕的部分是,有些集成简直离谱。

假如你的公司需要与 Google Drive 实现完全自动同步的集成——这可能需要 3 到 6 个月的时间来获得 Google 的批准。然后就是这有趣的部分,实际让自动同步功能起作用。

随着规模增加而带来的复杂性

但这还不止这些:

随着项目的扩大,数据管理需求也会急剧增加。

传统系统在压力下难以承受。

整合新的数据来源变得非常棘手。

当你以为你的RAG管线只需处理文档时,你还需要处理其他内容,例如网站、例如Zendesk这样的支持网站,或是YouTube这样的频道。

让RAG保持最新信息

还有一个挑战等着你

你的RAG聊天机器人程序在数据被获取的那一瞬间就开始落伍了。

想想看,如果你网站上的定价页面改变,你的RAG管道流程会立即更新吗?

手动更新既耗时又易错。

AI 实施指南:构建还是购买如果您和世界上许多其他公司一样面临同样的问题,是否要“构建或购买”AI 解决方案让您左右为难……

结果?RAG 检索与生成获取了过时的信息并犯了代价高昂的错误。这是导致误报的一个关键原因。

RAG 服务简介
“即服务”是什么意思?

您会得到以下内容:

无需复杂的基础设施,即可快速访问强大的RAG能力。

只需几分钟即可快速部署,而不是几个月。

最好的部分呢?由专家帮你搞定一切。

比如,我碰到过一位Hubspot早期的员工。在Hubspot早期,客户会说:“嗨,我自己就能做CRM。我为什么要买Hubspot?”

他们就会回答说:“当然可以。但请记住:我们每天从早到晚都在这样做,并且每时每刻都在改进我们的CRM系统,因为我们每天都在为成千上万的客户提供服务。”——事实证明,这句话真是太准确了,因为现在我们从Hubspot在其CRM平台上投入的数百万工时中受益。

当你自己搭建了RAG之后,你是否每天都在维护和升级它,持续20年?还是你会看起来就像是那个维护自己20年前安装的邮件服务器或CRM系统的人?(哇哦!一个古老的邮件服务器软件,叫做Postfix!)

RAG作为服务的核心特性

咱们来看看功能

与您的数据源无缝地集成——让别人来处理这些数据集成,比如这样的 Sharepoint、Wordpress、Google Drive 等等。

AI 生成的幻觉:别担心——这个问题其实已经被解决了——下面是如何解决的(附实例!)从大量数据和案例中学习——通过检索增强生成来控制 AI 幻觉的方法…

处理关键业务问题,比如准确性、错误或误报以及安全性。

随着您的数据增长,我们的扩展性也随之提升。想想当您的RAG(检索和生成)需要处理100GB(或4TB)的数据时会发生什么。(这可不是在开玩笑——我们最近真的收到了一个客户的要求,需要从Sharepoint导入4TB的数据。)

这一切简单易用的API,就像操作OpenAI SDK那样,一样简单。

或者如果你更喜欢的话:一个无需编码的系统,这样你的非技术人员也能轻松创建和部署RAG聊天机器人。

选择合适的供应商

以下是你需要注意的:

RAG有实证记录的成功案例,寻找真实成果的案例。

我们采用了诸如SOC-2 Type 2这样的强大安全措施。安全是我们不容妥协的基本原则。

全面的L2支持和新手引导(L2指第二层)。

特别是当RAG用于商业用途时,准确性及反幻觉的基准尤为重要。

RAG的未来趋势

图片来自 : customgpt.ai

未来令人兴奋!

能够阅读包含图像和表格的复杂图文文档。想想医学期刊文章或技术文档(PDF格式)。

在准确性和防止错误信息方面取得了巨大进步,并增加了诸如内嵌引文等增强信任的因素。

语音RAG功能——只需拨打一个电话号码或用你的智能手机与知识交流,就像ChatGPT的高级语音模式一样。

能理解复杂的图形数据。

RAG即服务的行业影响

影响会非常大,甚至是毁灭性的,

更快的开发速度。

减少了错误和不一致的地方

这将通过改进效率的提升带来显著的成本节约。

底线 ("# Bottom Line")

为了避免你的开发团队浪费数千个小时的努力,让别人来负责繁重的工作,让你紧跟最新的RAG发展。

RAG即服务就是那个解决方案。

你有没有尝试在你的开发流程中引入RAG?在下面留言中分享你的经验,我很期待。

说白了 🚀

感谢你加入_简明英语_的社区!在你离开前,还有件事想对你说:

打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP