豆包开放实时音视频模型接口
火山引擎开放 SeedRealtime 1.0 API,用单个端到端模型处理连续音频和画面,并根据场景变化主动开口。模型能结合视觉与语音辨别说话对象、消解同音词歧义,并在嘈杂环境中减少误触发。
AI 深度解读
11 月 19 日,火山引擎全量上线豆包实时音视频通话模型 SeedRealtime 1.0 的 API。它把摄像头和麦克风传来的连续信息交给同一个端到端模型处理。画面变了、用户停顿了,模型都可以据此决定什么时候开口、说什么。
如果你在做带摄像头的语音助手,这次上线值得关注的是两个具体问题:模型能不能用刚才看到的信息回答现在的问题,又能不能在该提醒的时候开口、在旁人聊天的时候保持安静。IT之家报道给了几个场景例子,还有一项需要结合测试口径看的对比数字。
连续音视频怎样解决「刚才那个」的问题
常见的级联方案会把自动语音识别(ASR)、视觉语言模型(VLM)和语音合成(TTS)等模块接起来。每多经过一段处理,就可能多等一段时间。要理解「刚才屏幕上那个航班」,应用还得把转写文本、对应画面和时间顺序对上。
SeedRealtime 1.0 把声音、画面、时序和表达放进同一个模型。比如,用户说出一个听起来有歧义的词,模型可以参考眼前的场景判断词义;用户问起刚才看过的航班,模型可以结合之前的大屏画面回答。报道还举了多人聚餐的例子,模型结合声音和画面区分人物、记住身份,再按不同人的需求定制旅行方案。报道没有交代这种身份记忆能保持多久。
主动提醒的难点是判断何时开口
报道里的咖啡机例子很具体。用户把整颗咖啡豆倒进萃取手柄,模型看到后主动提醒要先研磨;萃取完成后,又根据咖啡油脂和出液量建议缩短萃取时长。学习场景里,模型持续观察翻页,认出指定章节后提醒用户,并报出学习率、动量和权重衰减。
这两类任务需要不同的开口时机。操作提醒得赶在用户继续操作前送达,翻页提醒则要等目标章节出现。对做应用的人来说,能识别画面只是其中一步,提醒早了、晚了或重复说,都会影响任务。
「对话节奏问题减少一半」该怎么看
报道说,与级联模型相比,SeedRealtime 1.0 的音视频对话节奏问题减少了一半,单次对话完整、顺畅交流的概率也有明显提升。这个数字说的是对话节奏问题。报道没有给出首响应延迟、测试样本、具体对照模型,也没说明哪些情况会被判成节奏问题。
机场和家庭场景给出了更直观的观察点。机场里,模型要略过旁人闲聊,等用户提问后再引用先前看到的航班信息,还要识别指示牌并主动指路。家庭里,爸爸在旁边打电话,模型仍要跟着女孩手指的方向纠音、举例造句。这些是报道描述的场景表现,误触发率和漏响应率都没公布。
我的判断
我更看重的是跨时间的视觉指代。用户说一句「刚才那个」,级联系统需要在应用层设计画面缓存、时间关联和上下文传递。端到端模型把这部分理解放进模型里,具体能省掉多少应用逻辑,要看它在业务画面里能稳定记住什么。
级联方案的优势是各环节可以单独排查。出现答非所问时,团队可以逐段检查语音转写、选中的画面和回答内容。常见的按键说话也能把发言权交给用户,适合误开口代价较高的场景。报道里的例子可以用来设计验收用例。关于节奏问题减半的结论,缺少公开的对照细节,暂时只能作为产品披露的结果,无法推算到自己的业务上。
能拿来做什么
- 如果已有带摄像头的 Web 语音助手,可以加一条跨画面用例。先让模型看到航班信息,再把摄像头移开,用「刚才那班」提问,检查回答能否对应到先前的画面。
- 在 Node 测试脚本里用同一批音视频样本比较现有级联方案和新 API。分别记录用户说完到模型开始出声的时间、旁人插话引起的误开口次数,以及目标出现后的漏提醒次数。
- 做翻页或操作辅助时,先选一个清楚的提醒条件,例如翻到指定章节。把提醒时机、重复提醒和识别错误纳入验收,再考虑把主动提醒扩展到更多操作。