OmniSeek 用按问题检索的结构化观察记录替代完整对话历史,让多模态 Agent 按需取回证据。文中报告其在 MMOU 上相对基础 Qwen3-Omni-Instruct 提升 16.3 个百分点,缓解长视频上下文预算不足的问题。
用显式的 evidence ledger(证据台账)替代原始对话,可以让多模态推理质量提升约 10%–15%。这一收益来自一种替换:把冗长、难以处理的完整上下文记录,换成紧凑、由查询驱动的观察结果列表,Agent 可以按需将这些结果重新注入上下文。这样一来,对话就变成了聚焦的检索循环,而不再是被动地翻阅数小时的视频和音频。
此前,大多数多模态 Agent 都会在每轮交互中,将完整的音视频序列直接输入语言模型。这种方法依赖超大的上下文窗口,寄希望于 transformer 自行找出相关片段。但在处理长视频时,这些方法往往力不从心:推理还没开始,token 预算就已经耗尽,而且也无法保证模型确实参考了跨模态证据。
Adaptive Multi-modal Agentic Reasoning 引入了一种结构化证据台账,用来替代完整的对话历史。在 MMOU benchmark 上,相比基础模型 Qwen3-Omni-Instruct,这一方法带来了 16.3 个百分点的绝对提升。“在 MMOU 和 LVOmni 等包含长视频的 benchmark 上,OmniSeek 分别取得了 70.4% 和 44.2% 的成绩,相比基础模型 Qwen3-Omni-Instruct,分别提升了 16.3 和 8.4 个百分点。”[1] 证据台账由一个策略负责填充:它决定何时查看画面、何时聆听音频,提取简短的音频或视频片段,再仅将这些片段追加到上下文中。由于 token 占用保持不变,模型可以在相同预算内完成更多轮推理,进而直接提高多个数据集上的下游任务得分。
论文中的收益与其两阶段 reinforcement learning(RL)训练流程密切相关。该流程在初始监督预训练之后,又增加了额外的优化步骤。此外,论文报告的改进主要集中在长视频任务上;同样以证据台账为核心的设计,能否帮助处理短视频片段或纯文本形式的多模态 prompt,目前仍不明确。这意味着,证据台账的收益可能取决于输入是否包含丰富、时间跨度较长的信号,以及是否具备经过精心设计的 RL 训练体系。
如果观察到的 10%–15% 提升能够在实际部署中持续成立,那么多模态推理 benchmark 套件就应以显式的证据台账协议替代原始对话记录基线,将其作为新的默认方案。模型开发者无需扩大 token 上限,就能采用证据台账接口;只要把证据获取作为推理循环中的一等步骤,就能提高准确率。这一领域很可能迅速转向工具增强型 Agent,将观察结果的检索视为可控资源,而不是隐式产生的附带行为。
OmniSeek:面向多轮音视频推理的原生工具集成
如需采取进一步措施,你可以考虑屏蔽此人和/或举报滥用行为。