RAG 检索前先补全问题上下文
用户提问常含代词和省略信息,直接向量化容易检索到无关段落。文章建议结合聊天历史生成独立、明确的问题,并介绍 HyDE、多查询等检索改写思路。
AI 深度解读
RAG 聊天机器人答偏,问题可能出在检索入口:用户问「怎么又这样了」,系统却直接拿这句话找文档。检索器找不到「这样」指什么,后面的模型便可能对着错误材料给出自信回答。
原文提出的办法是:检索前先改写问题,补齐上下文、扩展表达,必要时生成一段假想答案辅助搜索。这套方法值得关注,因为它把优化位置前移到了查询本身。但是否有效,要看真实问题的召回结果,不能只凭改写后的句子更通顺。
先补齐用户省略的信息,再谈搜索效果
用户写的是问题,知识库里存的是答案。两者在长度、用词和信息密度上经常不一致:问题可能只有几个词,夹着「它」「那个报错」之类的指代;文档则会写出产品名、操作步骤和具体条件。
向量检索依靠文本的语义表示寻找相近片段。输入缺了关键信息,生成的向量也未必能表达用户真正要找什么。后面的回答模型再强,也很难从一堆无关材料中补救。
作者建议优先处理多轮追问。例如,上一轮问「如何在 pgvector 中添加向量索引」,下一轮只问「余弦距离呢」。检索前可以让一个便宜的小模型把聊天历史和最新消息合并,得到「如何创建用于余弦距离的 pgvector 索引」。
追问先变成独立问题,检索才有完整的搜索对象。
作者认为,这通常是最值得先做的一步,因为多轮追问中的检索失效最明显。不过,原文没有提供他们团队的评测集、提升比例或生产数据,这里属于实践建议。
一种问法搜不到,可以扩展表达或搜索假想答案
补齐上下文之后,还有术语不一致的问题。同一件事,用户和技术文档可能使用不同叫法。
多查询(multi-query)的做法是生成 2–4 个查询变体,可以换同义词、使用产品自己的术语,或者把问题写得更具体。每个查询分别检索,再合并结果。
原文推荐倒数排名融合(Reciprocal Rank Fusion,RRF),并引用 Cormack 等人在 2009 年的研究。它按照候选片段在各份结果中的排名进行融合,避免直接比较不同列表里未必可比的分数。原始查询也要保留,给本来就能搜准的问题留一条入口。
另一条路线是 HyDE,即假设文档嵌入(Hypothetical Document Embeddings)。它不只改写问题,而是让 LLM 写一段回答该问题的假想文档,对这段文档做向量化,再去知识库里找相似的真实材料。
它的直觉是:一段长得像答案的文字,可能比一句简短问题更接近知识库里的答案段落。
原文引用 Gao、Ma、Lin、Callan 在 2022 年的研究:论文报告 HyDE 显著优于无监督稠密检索器 Contriever,并在网页搜索、问答、事实核验及多种语言任务上,达到与微调检索器相近的表现。这是被引用论文的结果,不是文章作者自己的实测。
假想文档可能包含错误细节。论文给出的解释是,编码器的稠密表示瓶颈能够过滤错误细节,检索再把结果落到真实语料上。但不能把这个解释理解为错误细节总会被消除。原文也提醒:模型如果不了解内部产品,假想答案就可能把搜索带偏。
HyDE 生成的文字只用于检索,不应展示给用户充当答案。
把改写接进链路,还要控制调用成本和查询漂移
Ma 等人在 2023 年提出的 Rewrite-Retrieve-Read,把流程明确为「改写、检索、阅读」。研究先用提示词让 LLM 改写查询,再用阅读模型的反馈,通过强化学习训练小型改写器,并报告开放域问答和选择题问答上的持续改善。
普通团队可以先从提示词改写开始,不必直接引入强化学习。
下面这段原文代码把上下文补全、多查询和 HyDE 串在一起,展示查询怎样进入检索链路:
REWRITE_PROMPT = """Rewrite the user's latest message as a standalone search query
using the conversation for context. Then give 2 alternative phrasings that use
terms likely to appear in technical docs. Return JSON:
{"standalone": "...", "variants": ["...", "..."]}"""
def retrieve(history, message, k=8):
q = llm_json(REWRITE_PROMPT, history=history, message=message)
queries = [message, q["standalone"], *q["variants"]]
# 可选 HyDE:将一段简短的假想答案作为额外查询进行向量化
hypo = llm_text(f"Write a short passage that answers: {q['standalone']}")
ranked_lists = [vector_search(embed(text), k=k) for text in queries + [hypo]]
return reciprocal_rank_fusion(ranked_lists)[:k] # 合并并保留前 k 个结果
要看清 queries + [hypo] 这一行:示例实际会执行 5 路检索,每路取 k=8,融合后再保留前 8 个结果。虽然注释写着 HyDE 可选,代码本身却无条件生成了假想答案。llm_json、llm_text、embed、vector_search 和 reciprocal_rank_fusion 都是占位函数,需要接入自己的技术栈。
代价也很具体:改写增加检索前的 LLM 调用,HyDE 又增加一次生成。作者建议使用小而快的模型,并跳过已经很明确的首轮问题,例如包含 ID、错误码或引用短语的查询。
改写还可能擅自改变用户意图。因此要同时记录原始问题和改写结果,方便排查。对于 ID、错误码这类精确匹配需求,原文建议结合 BM25 关键词检索,语义改写不能替代它。
我的判断
我赞同把多轮追问补全放在前面。缺失的指代和上下文是明确的信息缺口,先修复它,比直接要求回答模型更谨慎更有针对性。
但多查询和 HyDE 是否值得开启,需要单独验证。原文没有给出这几种做法在同一数据集上的对照,也没有交代延迟、成本和收益的对应关系,不能据此认定步骤越多越好。
还有一个表述需要收紧:保留原始查询,不保证最终结果一定不差于基线。候选集合扩大之后,RRF 融合和最终截断仍可能改变排序,把原本能返回的相关片段挤出去。它提供了保留原始检索信号的机会,不能替代评测。
相比直接检索,改写适合处理语义缺口;相比关键词检索,它不擅长保证精确字符串命中。具体开哪些步骤,应该由自己的语料和问题决定。
能拿来做什么
- 给技术文档助手或日常 AI 编程问答整理一小批真实查询,包含「这个报错呢」「换成余弦距离呢」这样的追问,并标注应该召回的文档片段。
- 在现有检索前先接入独立问题改写,记录原问题和改写结果,用 recall@k 比较开启前后的相关片段召回情况。
- 分别验证 2–4 个查询变体和 HyDE 的增益,只保留能改善自己数据的步骤;内部产品知识不足时,尤其要检查假想答案是否偏离领域。
- 为包含 ID、错误码和明确引用短语的查询保留关键词检索入口,并跳过不必要的生成调用,控制问答链路的延迟和成本。