腾讯开源中英语音同传模型 Hy-SimulMT
腾讯发布并开源 Hy-SimulMT,支持中英语音流式输入、实时译文与语音输出,以及音色克隆。官方称实测延迟约3秒,并公布开源测试集及人工同传对比结果,相关表现仍需结合具体场景验证。
AI 深度解读
腾讯混元开源的 Hy-SimulMT,想解决的是实时翻译里的一个老问题:等得久,交流就容易断;译得快,又可能丢掉意思。它支持中英语音到语音翻译,官方称实测响应时间约 3 秒,并能在翻译时还原说话人的声音和语气。
最吸引眼球的是「超过人类译员」,但这个结论需要拆开看。现有材料提供了长短音频评测和人工对比,却没有交代全部评分细节。对开发者来说,更有用的是看清它测了什么,以及距离实际可用还缺哪些验证。
约 3 秒响应,究竟快在哪里
据 IT之家 10 月 26 日报道,Hy-SimulMT 已发布并开源,并在腾讯 Hy 翻译 App 首发,提供免费体验。
它接收持续输入的音频,边听边生成译文和语音。这里的关键是「边听边译」:系统不必等整段话说完,再一次性交付翻译结果。它还支持实时音色克隆,官方称可以高度还原说话人的声音和语气。
官方给出的实测响应时间在 3 秒左右,人类专业译员平均为 4-5 秒。不过,原文没有说明这项「响应时间」从哪个时刻开始计时,也没有说明它测到的是首段文字、首段译音,还是其他输出节点。
约 3 秒是官方报告的实测结果,不能直接当作所有使用环境下的延迟承诺。
此外,「已经开源」也不等于接入条件已经清楚。原文没有提供模型规模、许可证、硬件需求、部署方式或接口说明,暂时无法据此判断普通开发团队的部署成本。
「超过人类」依靠哪些评测
第一组证据来自长音频开源评测集 RealSI。官方用两个维度比较同传系统:
- 横轴是 StreamLAAL,衡量模型输出译文相对输入音频的延迟秒数,越低越好。
- 纵轴是翻译质量,由 GPT6.1-Sol 打分,越高越好。
这个比较方式有价值。同传不能只看翻译是否准确,还要看为了准确等了多久。一个系统如果必须听完整段才能给出好译文,就未必适合实时交流。
官方称,Hy-SimulMT 在 RealSI 上同时取得最低延迟和开源模型中的最佳效果,并超过大多数商业 API。短音频测试集也表现较好,但原文没有给出该测试集的名称和具体分数。
需要保留一个信息边界:输入材料中的三张图都指向同一个图片地址,没有可供核对的具体点位、分数和对手名单。因此,这里只能转述官方结论,不能进一步算出领先幅度。
第二组证据更接近真实内容。团队在合规允许范围内,收集互联网上新出现的中英文音频,覆盖软件 AI、医学、制造能源、自然科学、农业食品、商务管理、法律、教育、文化文旅、体育生活,共十个领域,包含演讲、访谈和会议等场景。
参与对比的同传专家共有 6 位,其中 3 位持有 CATTI 一级口译证书,3 位持有 CATTI 二级口译证书,均有多年实战经验。官方称,Hy-SimulMT 在这次测评中的翻译质量得分更高、延迟更低。
但原文同时写到,人类成绩取「3 个人中的最高分」。这与总计 6 位专家是什么关系,是否按翻译方向分组,材料没有说明;人工对比部分是否沿用 GPT6.1-Sol 评分,也没有交代。
我的判断
我认可这次评测同时观察质量和延迟,也认可用多个领域、不同场景的音频补充公开测试集。它比单独展示几段流畅的翻译,更能说明模型的能力范围。
但「超过人类译员」仍应限定为:按照官方报告,Hy-SimulMT 在这次测评的样本和评分规则下,得分与速度优于参与比较的专家。
它不能直接推出模型能在任意会议里替代专业同传。原文没有提供样本规模、评分提示词、统计波动,也没有展开噪声、多人交叠说话等条件下的表现。GPT6.1-Sol 的评分是一项评估依据,距离完整的业务验收还有差距。
与商业同传 API 相比,官方声称它的效果超过大多数对手,但没有列出足够详细的比较条件。与团队现有翻译方案相比,原文也没有部署成本和接入复杂度数据。选择依据应该是自己的音频和验收标准,而不是只看「开源」或「超人类」两个标签。
能拿来做什么
- 如果经常听中英文技术演讲,可以先通过腾讯 Hy 翻译 App 免费体验,重点观察软件 AI 术语、长句和数字信息的翻译,看看是否适合自己的内容。
- 如果正在做实时翻译产品,可以准备一批经过授权、贴近实际业务的音频,同时记录译文质量与输出延迟,避免只凭一段演示决定接入。
- 如果计划自行部署,应先补齐许可证、模型规模、硬件需求和接口资料。原文没有提供这些信息,暂时不足以估算项目成本。
- 如果需要评估音色克隆,应把声音还原度与翻译准确性分别验收。声音听起来像原说话人,并不能证明内容翻译正确。