LFM3 多模态部署中的音轨丢失陷阱
作者在两款显卡上部署 LFM3-Omni-2B,发现视频音轨未正确传入时,模型仍会自信回答声音问题。参考 Transformers 实现需要同时启用两个音频参数,自建 SGLang 分支的参数传递位置也存在差异。
原文暂未完整获取,基于公开信息的快读
作者在两款显卡上部署 LFM3-Omni-2B 时,发现一个容易误判成模型能力不足的问题:视频音轨没有正确传入,模型却仍会自信地回答声音相关问题。排查发现,Transformers 路径需要同时开启两个音频参数,自建 SGLang 分支还对参数位置有不同要求。
目前能确认什么
作者用一段儿童朗读视频测试:传入音轨时,模型识别出孩子正在说话;只传画面时,它却断言视频中没有可听见的语音或音乐。
参考 Transformers 实现需要同时设置 load_audio_from_video=True 和 use_audio_in_video=True,缺少任何一个,音轨都不会进入模型。作者自建的 SGLang 分支则要求把 use_audio_in_video 放在顶层,放进 mm_processor_kwargs 会被静默丢弃。
不过,有声测试还增加了一句要求模型使用视觉和听觉信息的系统提示。两次测试同时改变了输入和提示,不能把回答变化全部归因于音轨。
服务能力也有边界:作者测试的 SGLang 分支生成文本更快,但不支持语音输出;语音仍走 Transformers 路径。他们没有测试并发,也没有实现或验证音频流式传输。
我的判断
接通视频接口,不等于接通了视频里的声音。
做音视频接入时,应准备画面相同、音轨不同的样本,并记录音频是否完成解码、是否进入模型输入。仅凭模型回答「听到了什么」,无法证明输入管线正常。
延迟也要拆开看。作者测到服务内部较早产生音频片段,但后端等完整 WAV 生成后才返回,用户等待时间因此更长。首段音频生成时间,不能直接当成用户首听延迟。
这些结果来自作者的短输入和单请求测试。正式版本何时支持该模型、并发下的表现,以及固定系统提示后有声与无声输入的差异,都还需要进一步确认。