灵活查询机制优于传统 RAG 架构的思考

作者：John Mount，2024 年 5 月 21 日 ·（9 条评论）

围绕检索增强生成（retrieval augmented generation，简称 RAG），如今有着大量令人兴奋的讨论。粗略来说，其思路是：当前生成式 AI 或大语言模型（LLM）存在一些缺陷，而我们可以通过补充权威源文档的链接、参考资料和摘录，来修饰它们的幻觉。也就是说：把 LLM 敲回正确的车道。

LLM 确实很有价值。不过在我看来，它的大部分价值在于灵活的自然语言查询界面，而不在于备受追捧的生成阶段。我越来越觉得，自己想要的是不脆弱、灵活的自然语言查询界面，而不是 LLM 制造的垃圾信息式输出。

我母亲还记得，她小时候吃过一道西西里菜，主要是把米饭放在蛋液中烘烤而成。大致可以叫作“米饭意式烘蛋（rice frittata）”。我用 ChatGPT 查询后（纯生成式，并非 RAG——感谢指正！），得到了下面这个似是而非的答案。

没错，西西里岛离那不勒斯“也没有十万八千里”。

我妻子花了一些时间用搜索引擎寻找这道菜的食谱。她的大部分时间都耗在了应付查询界面的脆弱性（依赖关键词匹配和来源热度）、垃圾信息以及受限内容上。不过最终，她还是找到了下面这个很棒的结果。

以下书签是她个人觉得有意思的食谱（并非全都符合搜索条件）。

下面是两份候选食谱（一份符合搜索条件，另一份只是她自己想要）：

随后，我照着其中一份食谱做给母亲吃，她说这正是记忆中的味道！我看不出让 LLM 对这些材料进行总结能带来什么改进。我想要的是检索到一份好食谱，而不是把“一堆看起来可能像食谱的东西”混合在一起。

对我而言，用 LLM 管理查询和执行检索，远比让它生成回答更有价值。这让我想起一句格言（出自组合化学早期的一段低谷时期）：“想从干草堆里找到一根针，靠的不是收割更多干草。”

分享到 X（在新窗口中打开）X

分享到 LinkedIn（在新窗口中打开）LinkedIn

分享到 Facebook（在新窗口中打开）Facebook

分享到 Reddit（在新窗口中打开）Reddit

通过电子邮件把链接发送给朋友（在新窗口中打开）电子邮件

标签：“对着云吼叫的人”、生成式 AI