腾讯混元开源同传模型 Hy-SimulMT:延迟 3.3 秒,短音频三项开源第一

10 月 26 日,腾讯混元发布了同声传译大模型 Hy-SimulMT 并同步开源。这是国内头部厂商第一次把「语音到语音」的实时同传全栈能力开放出来,包括权重、推理服务和训练工具。

模型与工具:30B-A3B MoE,Apache 2.0

Hy-SimulMT 是一个 30B 总参数、3B 激活的混合专家(MoE)模型,做中英双向语音到语音同传:说话人的音频实时输入,模型边听边译,同步输出译文与语音,并支持实时音色克隆,可以还原说话人的音色和语气,官方演示里包含多说话人分别克隆的场景。

开源内容包括:FP8、GGUF 等格式的权重(Hugging Face 卡片标注为 Apache 2.0 协议),基于 vLLM 的推理服务 SimulInfer(含网页界面、音频上传与实时 WebSocket 接口,默认模型端口 8800、网页与 API 端口 8080),以及用于在垂直领域数据上继续训练的 SimulTrain。部署脚本执行后依次拉起 vLLM 与 SimulInfer,双卡可加 --gpus 0,1 --tensor-parallel-size 2。

目前限制也写清楚:现阶段仅覆盖中英互译;语音输出与音色克隆需要另行配置 TTS 服务;llama.cpp 支持尚未合并,想用 GGUF 跑 llama.cpp 的团队还要等。

数据:延迟 3 秒级,短音频四项里有三项开源第一

腾讯用 StreamLAAL 衡量流式翻译延迟(数值越低越好,注意它不等于「听到第一句译文前的等待时间」)。在长音频评测集 RealSI 上,Hy-SimulMT 约 3 秒,是对比系统中最低的;翻译质量用 GEMBA(GPT6.1-Sol 打分),官方称超过对比中的开源模型,以及 5 个商用 API 中的 4 个。

短音频四项得分:FLEURS 90.3、CoVoST2 75.5、ACL6060 81.2、RealSI-Sentence 84.7(该项为所有列出系统中的最高分)。对比中 Gemini3.5-LiveTranslate 在 FLEURS(92.4)和 ACL6060(82.6)两项上更高,Qwen3.8-LiveTranslate 在 CoVoST2(82.1)上更高——也就是说,「全面第一」的说法并不成立,要看具体数据集。

与人类译员的对比是这次最有参考价值的部分:腾讯收集了 2026 年 9 月起的 18 段约 6 分钟录音,覆盖软件与 AI、医学、制造与能源、自然科学、农业与食品、商务管理、法律、教育、文化与文旅、体育与生活共 10 个领域;邀请 6 位持证同传专家(3 位 CATTI 一级、3 位 CATTI 二级)参与,取每一级中的最高分。结果:Hy-SimulMT 的 StreamLAAL 为 3.3 秒,CATTI 一级专家 4.5 秒、二级 4.7 秒;翻译质量得分达到参与测评的人类专家水平。腾讯自己说明这是小规模评估。

对从业者的影响

对做跨境会议、出海直播、远程协作产品的团队,最大的变化是成本结构:此前实时同传基本只能调商用 API,现在有了可自托管的权重 + 推理栈 + 微调路径,垂直行业术语可以用 SimulTrain 自己补。Apache 2.0 也允许商用衍生。

对译员与语言服务从业者,3.3 秒对 4.5 秒这个差距需要冷静看:这是标准场景下的小规模测试,且质量对比取的是每位级别中的最好成绩。广外高翻学院副院长王巍巍在发布材料里的判断更接近现实——这套系统「先开口、后修补」,听感接近译员自我修正,适用场景偏向低风险沟通。

对普通用户,最短路径是腾讯 Hy 翻译 App,已首发免费体验;官方称后续会接入腾讯会议等产品线。

站长观点:值得自建,但别先动高端场景

我们的建议是分场景上线:内部会议、跨境直播字幕、多语言客服这类「错了可纠正、代价低」的场景,现在就可以用自托管方案替代商用 API,成本和多语言术语适配都更有主动权;而涉外合同谈判、医疗问诊、法律程序这类高风险场景,暂时不要换——仅中英互译、复杂专业术语稳定性未验证、TTS 需自行配置且缺少 llama.cpp 支持,这三条限制叠在一起,出错成本太高。

另外提醒做技术选型的团队:FP8/GGUF 与 Apache 2.0 让「消费级显卡本地部署」在纸面上成立,但实时音色克隆要另配 TTS,实际落地工程量比下载权重这件事大得多。

来源清单

  • 腾讯混元官方发布与 ModelScope 模型合集 Tencent-Hunyuan/Hy-SimulMT(10 月 26 日)
  • GitHub 仓库 Tencent-Hunyuan/Hy-SimulMT(SimulInfer / SimulTrain 部署说明)
  • Hugging Face 模型卡片(Apache 2.0 协议、FP8/GGUF 构建)
  • AIBase、动点科技、腾讯新闻等媒体报道(评测数据与专家对比细节)

信息核查日期:2026-10-27;评测得分、协议与部署参数以官方仓库与模型卡片为准,产品接入范围可能变动。

暂无评论

暂无评论...