多模态代理答对了，也未必找对证据

多模态 AI 能答对视频问题，不代表它能拿出证据。OmniDR‑Bench 把评测拆成三步：找到相关媒体、定位支撑片段、给出解释。原文报告，18 种智能体配置中，最好的证据得分也只有 63.3/100。

更值得程序员关注的是另一组落差：报告呈现平均达到 81.8 分，内容和引用却只有 45.4、47.8 分。如果你正在做视频问答或研究助手，这篇提供了一个实用提醒：验收不能只看答案是否流畅，还得看它能不能指到证据。

答案正确，为什么还不够

原文指出，以往的多模态评测主要检查模型是否识别对了对象、是否答对视频问题，常见指标包括 VQA accuracy，也就是视觉问答准确率，以及基于召回率的检索得分。

这些指标各有用途，但它们未必要求模型提供具体时间戳，或者引用一段能支撑结论的视频。

区别就在这里：模型说某个动作发生过，与模型指出这个动作发生在哪一段，是两种能力。前者检查结论，后者还要检查结论与素材之间的联系。

OmniDR‑Bench 要求智能体完成连续的三步：

1. 检索到正确的媒体。
2. 定位其中支持结论的片段。
3. 根据片段给出解释。

其中的证据锚定（grounding），可以理解为让每条判断落到可核查的素材位置上。检索到了相关视频，只完成了第一步；视频主题相关，也不代表它支持报告里的每一句话。

37% 的缺口，到底说明了什么

原文报告，18 种智能体配置中，最佳证据得分为 63.3/100。标题里的 37%，可以理解为距离满分约 36.7 分的取整表述。

它不等于模型有 37% 的答案错误，也不是与人工表现相比落后 37%。

分项结果更能解释问题：呈现平均分为 81.8，内容为 45.4，引用质量为 47.8。报告可以组织得漂亮，实质内容和引用支撑却没有达到同样水平。

不过，原文没有提供完整评分公式、各项权重，以及这些分项与最佳配置得分之间的具体关系。不能把它们自行拼成一套总分计算方式，也不能据此推断每一种配置都有相同问题。

文章进一步主张，单纯改进检索或语言模型还不够，需要专门处理片段定位的架构，以及更强的多模态推理组件。它还建议把证据得分作为主要 KPI，将内容与引用表现提升到 70 多分。

这些是改进方向和目标，原文没有展示采用相关方案后达到目标的实验。

我的判断

我认同它把「答对」和「举证」拆开评估。研究助手交付的是供人判断的信息，引用如果无法核查，排版再完整也不能弥补这个缺陷。

但从分数落差推断当前流水线「优先优化了表面格式」，仍需要保留余地。呈现得分高，也可能是格式比证据推理更容易完成，或者不同评分项的难度不同。原文没有给出对照实验，无法确认原因。

与只做答案准确率验收相比，这套三步检查能暴露更多问题；与只检查是否检索到相关视频相比，它又多检查了片段与结论的对应关系。不过，原文也承认，基准尚未覆盖长期一致性，以及超出标注标准的跨模态因果推理。拿到高分，仍不能直接推出系统具备可靠的因果分析能力。

这组结果支持加强证据验收，但还不足以证明某一种架构就是解决方案。

能拿来做什么

• 做视频问答或研究报告产品时，把验收拆成媒体检索、片段定位和解释支撑三项。分别记录失败发生在哪一步，才能判断下一轮该改检索还是推理。
• 前端展示结论时，可以同时提供对应片段的时间范围和跳转入口。让用户能直接核查，比单独放一个视频来源更贴近这套评测的要求。
• 在 Node 编排的处理流程中，可以保留「结论、媒体标识、片段位置、支撑说明」的对应记录，供后续检查引用是否真正支持结论。
• 比较不同模型或提示词方案时，同时观察答案准确率和证据质量。原文的 63.3/100 不能直接作为你自己业务的分数基线，仍需使用同一批素材和评分规则做比较。