腾讯开放百万上下文模型 Hy4 权重
腾讯开放混元 Hy4 正式版权重,采用 Apache 2.0 许可,模型总参数 7700 亿、激活参数 490 亿,上下文超过 100 万 Token。同步开放的 Hy4 flash 每个 Token 激活约 120 亿参数,支持文本和图像输入以及最高 100 万 Token 上下文。
AI 深度解读
腾讯 Hy4 这次开放的是模型权重:11 月 4 日发布正式版后,开发者终于可以下载并自行部署。按腾讯混元团队的说法,至此混元 LLM 系列已完成全部开源,覆盖 Hy3 preview 到 Hy4 flash 等版本。
对程序员来说,重点有三个:旗舰模型有多大、flash 能省下什么、开放权重后能怎么用。但这篇消息提供的是规格、许可和官方安全声明,没有编程能力、推理成本或部署门槛的实测,选型时要把这些空白单独列出来。
全系列开放,开发者具体拿到了什么
据 IT之家 11 月 20 日报道,Hy4 权重已同步上线 GitHub、Hugging Face、ModelScope 和 GitCode,开发者可以自行下载部署。本次兑现的是此前预告的权重开放,正式版模型已于 11 月 4 日发布。
此次消息列出的混元 LLM 系列包括 Hy3 preview、Hy3、Hy4 preview、Hy4 和 Hy4 flash。原文还附有 Hy4-GGUF 下载入口,但没有交代量化档位、运行配置和性能损失,不能据此判断普通开发机能否流畅运行。
许可方面,原文明示 Hy4 和 Hy4 preview 使用 Apache 2.0,允许商业使用与修改。 其他版本的具体许可没有在这篇消息中逐一说明,不宜直接套用。
同样,文中的「全部开源」不能自动理解为训练数据、训练代码和完整训练流程都已公开。这次明确交付的是模型权重。
Hy4 和 flash 的差别,不能只看激活参数
Hy4 采用 MoE 混合专家架构,总参数为 770B,激活参数为 49B,上下文窗口突破 100 万 Token。
MoE 可以理解为让不同专家模块分担计算,每次处理输入只调用其中一部分。因此,总参数和激活参数分别描述了模型整体规模与单次计算涉及的规模。
但 49B 激活参数不等于只需按 49B 模型准备部署资源。 权重存储、运行精度、上下文长度和并发量仍会影响资源需求,原文没有给出显存配置或吞吐数据。
Hy4 flash 的规格则是另一档:
- 总参数约 2200 亿,其中包含约 635 亿 Engram 参数。
- 每个 Token 仅激活约 120 亿参数。
- 支持最高 100 万 Token 上下文,并支持文本与图像输入。
腾讯将两者定位为旗舰能力与低成本规模化落地的搭配。这个定位有参数规模上的依据,但「性价比更高」还缺少任务效果、速度和成本的对照。Engram 的具体机制与收益,原文也没有展开。
对做 AI 编程工具的团队,长上下文有潜在价值,例如容纳更多仓库代码和文档。不过,能接收多少 Token,与能否准确找到依赖关系、完成跨文件修改,是两件需要分别验证的事。
我的判断
这次开放的实际价值,是增加了自行部署和修改模型的选择。对于需要控制运行环境、处理内部代码的团队,权重和明确的商业许可,都是值得继续评估的条件。
但仅凭这篇消息,还无法判断 Hy4 是否适合替换现有编程模型。原文没有提供代码生成、工具调用、长上下文检索的测试结果,也没有与托管 API 或其他开放模型做对照。旗舰能力和低成本落地,目前应视为官方定位,不能当作已被验证的选型结论。
安全部分也要按证据范围理解。腾讯发布了模型安全评估卡片(System Card),披露网络安全、生物安全等维度的评估结果。据官方说明,训练数据仅纳入 PoC 生成、漏洞修复等防守性网络安全内容,并剔除漏洞利用、逆向工程与渗透等攻击性数据;腾讯玄武与科恩实验室审计未发现明显的进攻性能力风险。
这些是官方披露与审计结论,新闻没有展示具体评估方法、样本和分数。它们能提供参考,不能替代团队对实际使用场景的验证。
能拿来做什么
- 如果正在评估私有化 AI 编程助手,可以先收集 Hy4 的部署要求,核对硬件和运维成本,再决定是否进入试用;不要只按 49B 激活参数估算资源。
- 用相同的一组前端或 Node 任务比较 Hy4、Hy4 flash 与现用模型,例如跨文件修复、补全测试和解释陌生模块,记录正确率、延迟与实际资源消耗。
- 对 100 万 Token 上下文,专门测试模型能否从大量无关代码中找到关键依赖,并与先检索相关文件的做法比较,确认额外上下文是否带来收益。
- 商业集成前,逐个核对所选版本的许可证,并阅读 System Card 的评估细节;这篇新闻明确说明 Apache 2.0 的范围是 Hy4 和 Hy4 preview。