混元实时语音模型加入工具调用与演唱
腾讯发布 Hy Realtime,增强多轮语音理解和表达,并加入联网搜索工具调用及唱歌能力,已用于元宝和腾讯客服。腾讯云 API 尚待上线,当前可通过元宝或网页 Demo 体验,文中性能优势主要来自官方评测。
AI 深度解读
腾讯混元 11 月 13 日发布的 Hy Realtime,把实时语音交互往前推了两步:对话中可以判断是否联网搜索,也能理解点歌要求并演唱。模型已在元宝语音通话、腾讯客服等产品上线,腾讯云 API 服务则还在预告阶段。
对开发者来说,值得关注的是它如何处理含糊表达、多轮上下文和工具调用。至于理解准确率、声音表现到底提升多少,报道给出的主要是官方描述,尚不足以做横向选型。
语音助手能否接住用户的半句话
真实的语音输入很少像提示词模板那么工整。用户可能口齿含糊、话说一半,或者刚提出要求又改口。Hy Realtime 宣称可以结合对话上下文,还原这类不完整输入的意图。
这项能力直接影响语音产品是否好用。用户中途纠正条件后,系统需要把新要求接到前文上,而不是要求用户从头再说。报道还称,模型增强了多轮指令遵循与上下文管理,在较长的连续对话中仍能保持理解稳定。
不过,原文没有给出理解准确率、连续对话长度、噪声条件或测试样本。「显著提升」目前只能视为官方结论,无法据此判断它在具体业务中的可靠程度。
语音输出也有升级。官方称,新模型在音质、发音、韵律和情感方面全面优于上一代,对话中的情绪变化更自然。但上一代的具体版本、对照音频和量化结果,报道都没有交代。
工具调用与唱歌,分别解决什么问题
Hy Realtime 新增了 Agentic 工具调用能力。这里可以理解为:模型根据对话内容决定是否使用工具,再结合工具结果回答。报道明确提到的工具是联网搜索,并称模型统一处理搜索决策、工具调用与回答生成。
原文确认的是联网搜索能力,还不能据此推断它支持任意业务工具。
对准备接入语音助手的团队,这个边界很关键。调用内部订单接口、执行账户操作、自定义工具参数,都需要进一步的接口文档支撑。报道没有提供 API 名称、请求格式或调用示例。
唱歌则是另一条体验路线。混元与腾讯音乐 TME 灵音 AI 团队通过 Co-Design,也就是联合设计,加入了自然语言点歌和演唱能力。用户可以组合歌手、专辑、曲风、语种、发行年份、热度等条件,也可以接着前文继续选歌。
原文的例子是「来首 2010 年到 2020 年之间的英文民谣」。它考验的不只是生成歌声,还包括理解多个筛选条件、匹配歌曲,以及承接上下文。
官方称,演唱在情绪层次、咬字、气息衔接、旋律和节奏方面持续优化,并在内部专家 A/B Test 中呈现显著优势。但报道没有列出对照对象、参评人数和具体分数,因此无法判断优势有多大。
我的判断
我更看重上下文理解与搜索决策。这两项能力直接关系到语音助手能否把事情接着做下去;唱歌则更适合评估娱乐交互和声音表现。
相比常见的语音识别、文本模型、语音合成分段方案,Hy Realtime 对外呈现的是统一的语音交互体验。但报道没有披露内部架构,也没有给出延迟、成本、打断表现的对照数据,不能直接认定它更快、更便宜或更容易接入。
还要区分已上线能力和后续计划。元宝语音通话、腾讯客服已经上线;腾讯云 API 是「近期将上线」。双工交互、长期个性化记忆、前后台 Agent 交互,则被列为下一步重点,不能当作当前版本已经兑现的能力。
这是一份值得试用的产品发布信息,还不是足够完整的技术选型依据。
能拿来做什么
- 可以在最新版元宝 App 的语音通话中选择「初语」音色,用含糊表达、中途改口和连续追加条件测试它是否能接住真实需求。
- 如果正在做语音搜索或客服原型,可以围绕「何时需要搜索、搜索结果是否回答了问题」准备评估样例,分别检查工具选择与回答质量。
- 如果计划通过 Node 接入,应等待腾讯云 API 的正式文档,再确认音频传输方式、工具扩展范围、延迟和计费。报道尚未提供这些接入信息。
- 如果关注点歌体验,可以沿用「2010 年到 2020 年之间的英文民谣」测试,再追加筛选条件,观察它能否保留前文约束并完成演唱。