AI系统从聊天机器人演进为能调查、推理、行动的Agent,对检索能力提出更高要求,检索工程正从配角升级为独立工程学科,对AI系统架构师和后端开发者有重要参考价值。
AI agents 正在改变检索的需求。随着组织从聊天机器人转向能够调查、推理并代表用户行动的 AI 系统,检索正在成为应用质量的基础。更出色的检索不仅能产生更优质的答案——它还能实现更有能力的助手、更个性化的体验,以及更值得信赖的自主系统。
传统的搜索甚至许多 RAG 应用尚能容忍不完美的检索。如果用户没有找到完全所需的内容,可以优化查询或重试。但 AI agent 没有这种奢侈。
"随着组织从聊天机器人转向能够调查、推理并代表用户行动的 AI 系统,检索正在成为应用质量的基础。"
AI agent 会规划、推理、调用工具,且越来越多地在无人审核每个中间步骤的情况下做出决策。这大大提高了门槛。检索不再只是找到相关信息——而是在正确的时间持续提供正确的证据。
对工程师而言,这带来了一系列熟悉的挑战:
这些都不是向量数据库的问题。它们是检索工程(Retrieval Engineering)的问题。
这已不仅仅关乎嵌入或向量搜索。而是要对整个检索流程进行工程化:结合混合检索、实时信号、排名、机器学习推理以及持续实验,在服务时提供最佳决策。
GigaOm 最近的一份 Decision Brief 认为,随着检索日益商品化,竞争优势转向决策——在应用或 AI agent 行动之前,确定它应该看到什么、以什么顺序看到。
"随着检索日益商品化,竞争优势转向决策——在应用或 AI agent 行动之前,确定它应该看到什么、以什么顺序看到。"
这与我们对检索工程的理解高度一致:
Prompt 工程影响模型如何推理。检索工程决定它要推理什么。
随着组织从副驾驶(copilot)转向生产级 AI agent,我相信检索工程将成为与 Prompt 工程和模型工程并列的核心工程学科。
如果你对工程学科本身感兴趣,我之前的文章更深入地探讨了检索工程(https://thenewstack.io/ai-retrieval-engineering-bottleneck/)。新的 GigaOm 论文则从另一个角度补充了讨论——为什么这些工程决策越来越影响产品质量、客户体验,并最终影响业务成果。
阅读 GigaOm 报告。