用调用轨迹拦截 Agent 行动幻觉
摘录将幻觉分为内容、行动和结果三类,强调错误工具调用可能比错误回答造成更直接的损失。正文实际聚焦利用调用轨迹进行低成本行动与结果校验,内容评判模型和语义熵被安排在后续篇章。
AI 深度解读
Agent 把退款期限从 30 天说成 60 天,和拿着凭空生成的订单号执行退款,是两种不同的故障。前者要核对语义,后者可以先查参数来源。原文最有用的结论是:先按错误类型分流,再决定花多少钱检测。
这份材料串起了上下两篇内容,覆盖工具调用、回答核验、语义熵和回归测试。它提供了一套可实现的检测骨架,但其中的指标是示例,部分代码也需要补齐业务约束,才能接进生产系统。
工具会操作真实系统,就先检查参数和执行结果
作者把幻觉分成三类:内容幻觉是回答缺乏依据;动作幻觉是工具调用里出现编造的参数;结果幻觉是声称完成了实际没完成的操作。
后两类通常能从执行轨迹(trace)找到证据,不必一上来就请另一个模型判断。
参数来源检查要求:写工具收到的标识符,必须出现在此前的用户消息、工具结果或检索上下文里。示例检查 app.user_message、app.tool.response、app.retrieved_context,并用 spans[:i] 限定历史范围。工具执行后自己返回的订单号,不能反过来证明调用前有依据。
作者优先检查 refund_order、cancel_subscription、send_email 等写工具。金额另做归一化,避免把 82.00、82、$82 当成不同值;示例 check_amount 使用 tolerance=0.01。
但出现过,不等于可以操作。
原文的 Pydantic 示例还要求 order_id 符合 ^ORD-\d{5,}$,金额满足 gt=0, le=500,订单存在且属于当前客户。reason 只能是 damaged、not_received、wrong_item、other。来源、格式、权限,各管一层。
结果幻觉则从最终回复倒查。小模型先提取「已完成」的动作和目标,再确定性匹配工具记录。只有 gen_ai.operation.name == "execute_tool" 且 status == "OK" 的调用才算成功,还要检查目标是否一致。取消订阅成功,不能顺手声称确认邮件也已发送。
参数检查要放在工具执行前,结果检查要放在回复发出前。
作者还建议让模型从查询结果中选择 order_ref,由服务端转换为真实订单 ID;高影响操作先核对目标和金额;最终回复只根据成功的工具结果生成。这些设计可以减少错误入口,但仍需保留校验。
内容是否有依据,要逐条核对,并先校准裁判
如果检索结果写着 30 天,回答却写成 60 天,调用链可能完全正常。此时要检查的是回答与证据的关系。
作者采用有据性裁判(groundedness judge):把回答拆成原子事实,再分别标记 supported、contradicted、unsupported。原子事实就是可以单独判断的一句话,避免一句话混进多个结论后只能整体打分。
这段代码把逐条判断汇总为支持比例,并单独保留矛盾标记:
def judge_groundedness(answer: str, context: str, judge) -> dict:
raw = judge.complete(JUDGE_PROMPT.format(context=context, answer=answer))
claims = json.loads(raw)["claims"]
n = len(claims) or 1
return {
"claims": claims,
"groundedness": sum(c["verdict"] == "supported" for c in claims) / n,
"has_contradiction": any(c["verdict"] == "contradicted" for c in claims),
}
要看的是最后两项:支持比例高,也可能夹着一条严重矛盾。配套 JUDGE_PROMPT 要求只依据上下文,并为判断返回证据。
contradicted 和 unsupported 也不能同罚。前者表示证据明确反对回答;后者只表示证据没有覆盖。缺乏支持可能是编造,也可能是检索遗漏,不能直接等同于事实错误。
裁判本身仍是模型。作者建议先抽取 100–200 条真实轨迹,由懂业务的人标注,再测精确率、召回率和 Cohen’s kappa。精确率回答「报警有多少是真的」,召回率回答「真实问题抓到了多少」,kappa 衡量扣除偶然因素后的一致程度。
原文给出的四组结果依次为:
| 阈值 | 精确率 | 召回率 | kappa |
|---|---|---|---|
| 0.6 | 0.91 | 0.58 | 0.63 |
| 0.7 | 0.87 | 0.71 | 0.72 |
| 0.8 | 0.79 | 0.83 | 0.74 |
| 0.9 | 0.62 | 0.90 | 0.61 |
这些明确是演示数字,不是作者公布的实测成绩。它们说明阈值取舍:提高阈值会把更多回答送审,通常也增加误报。退款等高风险任务更看重漏检,普通 FAQ 则要控制告警负担。换裁判模型或提示词后,应重新校准。
多问几次能发现不稳定,但稳定不代表正确
一致性采样让同一问题生成多个答案。原文先用 n=5、temperature=0.8,计算出现最多的答案占比。
精确匹配很容易误判。「30 days」和「You have thirty days to request a refund」表达相同,却会被当成两个答案。因此作者引入语义熵:先按含义分组,再看各组分布有多分散。
文章引用 Farquhar 等人在 Nature 2024 年发表的研究,称该方法无需任务专用训练数据,也能跨任务识别部分编造。示例使用 transformers.pipeline 加载 microsoft/deberta-large-mnli,通过自然语言推断(NLI)判断两个答案能否双向蕴含,再归入同一组。
下面是按组内样本占比计算的离散版本:
def semantic_entropy(question: str, context: str, llm, n=10) -> float:
answers = [llm.complete(question, context=context, temperature=1.0) for _ in range(n)]
clusters = cluster_by_meaning(answers, question)
probs = [len(c) / n for c in clusters]
return -sum(p * math.log(p) for p in probs)
注意第一行的 n=10:一个问题需要生成十次,还要调用 NLI 做语义比较。论文另有使用 token 概率的版本,这段代码没有实现。
原文示例中,退款期限形成 1 个语义簇,熵为 0.00;询问谁批准了 2019 年的价格调整,形成 6 个簇,熵为 1.70。这展示了分散程度,不是通用报警阈值。
语义熵适合寻找答案不稳定的区域,不能代替事实核验。
模型也可能每次都给出同一个错误答案。考虑到多次生成的成本,作者建议把它用于离线测试集和频繁报警的问题。
检测要按成本分层,故障要进入回归集
原文的流水线让结构检查覆盖每次请求,内容裁判覆盖抽样流量和全部高风险任务。示例 sample_rate=0.07,高风险集合为 refund、billing、medical、legal、account_change。
发现问题后,记录 trace_id 并进入人工队列。监控指标按任务类型拆分,避免整体平均分掩盖某个流程持续退化。语义熵等昂贵方法放在离线层。
人工确认的幻觉进一步保存为回归用例,包含输入、上下文、错误输出和 must_not_claim。示例用 HALL- 加轨迹 ID 前 8 位命名,检查条件为 groundedness >= 0.8 and not has_contradiction。以后修改模型、提示词或检索,都重跑这些案例。
预防也要同步做:先修复空检索和低相关检索,允许模型在证据不足时追问或升级处理,并测试模糊请求、缺失数据及用户施压的边界情况。
我的判断
我认可它把确定性规则放在语义裁判之前。标识符来源、枚举、订单归属都已有明确判断标准,交给业务代码更容易审计,也更容易定位问题。
但原文把三种基础检查统称为「近乎零成本」,略显宽泛。结果核验已经调用小模型,仍有延迟、费用和提取错误;它与纯规则检查的成本不能混算。文章没有给出生产延迟、调用费用或检测效果对照,相关收益应视为方案判断。
示例还有几个边界。参数在历史字符串里出现过,无法证明它属于当前操作;任意数字都被提取为金额,也可能把日期、数量当作依据。status == "OK" 是否等于业务完成,则取决于埋点定义,支付接口返回正常也可能只表示请求已受理。
内容裁判同样受证据质量限制:它检查的是「回答符合上下文吗」,上下文本身过期时,得分仍可能很高。相比只改提示词,这套方案更容易追责和回归;相比完整业务校验,它只能补充,不能替代权限与状态约束。
能拿来做什么
- 如果你的 Node Agent 会退款、发邮件或修改账户,先集中包装写工具,在入口校验参数来源、对象归属和业务状态,并保存可追溯的调用结果。
- 如果你在做基于文档的问答,先人工标注 100–200 条真实样本,再校准逐条声明裁判;把「证据冲突」和「证据缺失」分开统计。
- 如果回答经常声称操作已完成,就从成功的业务结果构建回复事实,再核对动作和目标,避免直接根据模型的执行计划生成确认消息。
- 把人工确认的问题保存为回归用例,在模型、提示词和检索变更时重跑;语义熵优先用于高频故障问题的离线排查。