OVH 推出可在 8GB 显存运行的开源模型
OVHcloud 发布 Olala mini 7A1B,总参数 70 亿、激活参数 10 亿,结合 Differential-TPA 与 Mamba-3,并将以 Apache 2.0 许可开源。初版上下文为 32K,官方称可在 8GB 显存上运行;128K 上下文属于后续版本计划。
AI 深度解读
OVHcloud 宣布进入 AI 模型领域,首个成员 Olala mini 7A1B 主打较低的运行门槛:总参数 70 亿、激活参数 10 亿,宣称可在 8GB 显存的 GPU 上运行,也支持仅 CPU 推理。
对开发者来说,重点是它能否成为本地部署的小模型选项。Apache 2.0 许可、硬件需求和吞吐量值得关注,但原文没有提供任务评测和完整测试条件,还不能据此判断它是否适合写代码或处理实际业务。
70 亿总参数,为什么只激活 10 亿?
据 IT之家 11 月 17 日报道,OVHcloud 推出了首个 AI 模型家族 Olala,Olala mini 7A1B 是其中的首个成员。
该模型采用结合 Differential-TPA 和 Mamba-3 的混合注意力机制,使用 BF16 数据格式,总参数为 70 亿,激活参数为 10 亿。
这里需要区分两个数字:总参数描述模型整体规模,激活参数描述参与一次计算的参数规模。不能把「激活 10 亿」直接理解成只需要存放 10 亿参数,也不能仅凭这个数字推算显存占用。
原文没有展开混合架构的具体实现,也没有提供消融实验,因此无法判断 Differential-TPA 和 Mamba-3 分别贡献了多少速度或能力提升。

8GB 显存能跑,离实际可用还差哪些信息?
OVH 给出的运行指标很明确:
- 模型可在 8GB 显存的 GPU 上运行。
- 在 RTX A4500 上,词元吞吐量可达到 160 TPS。
- 仅 CPU 平台也能达到 50 TPS。
TPS 指每秒处理或生成的词元数量,是观察推理速度的指标。但原文没有说明这些数据对应的输入长度、输出长度、批量大小,也没有交代 CPU 型号和推理配置。
这些数字可以作为部署线索,暂时不能作为选型结论。
例如,「8GB 显存能运行」没有回答能容纳多长的上下文、能否同时处理多个请求。160 TPS 也不能直接回答用户提交问题后,要等多久才能看到第一个字。更关键的是,原文没有给出代码、中文、数学或指令遵循方面的评测,速度与回答质量仍需分开验证。
训练方面,OVH 表示,该模型在三台欧洲公共超级计算机上,使用 NVIDIA GH200、A100、H100 完成训练,总开销达到 700 万欧元,报道折合约 5,142.8 万元人民币。原文没有拆分费用构成,这笔投入也不能直接证明模型能力。
开源许可值得关注,后续能力仍是路线图
Olala mini 7A1B 将以 Apache 2.0 许可在 Hugging Face 上开源发布。对准备下载、部署和集成模型的团队而言,这是一个值得继续跟踪的信息。不过,原文使用的是「将发布」,没有交代实际下载状态和完整发布内容。
初始版本的上下文长度为 32K。预计今年底推出的 1.1 版本,将扩展至 128K 上下文,并改善数学能力。OVH 还计划继续开发模型,后续 Olala 2.0 的参数规模将>100B。
这几项需要分开看:32K 是初始版本的规格,128K 和数学能力改善属于计划,>100B 则是后续模型的规模目标。原文没有提供长上下文效果、数学成绩或 Olala 2.0 的具体交付时间。
我的判断
我更看重它提出了一个可以验证的部署方向:较低的显存门槛,加上明确的开源许可,值得有本地推理需求的开发者关注。
但目前的信息更接近产品发布材料。吞吐量来自 OVH 的披露,报道没有给出独立复测,也没有同类模型的对照数据。对于前端和全栈开发者最关心的代码生成、项目理解、中文问答,它究竟表现如何,原文都没有回答。
与直接调用托管模型 API 相比,本地部署需要自己处理运行环境和服务维护。是否值得承担这部分工作,要靠任务效果、响应时间和实际资源占用来判断,训练开销和参数规模都不能代替这些验证。
能拿来做什么
- 有本地 AI 工具需求的开发者,可以在模型实际发布后,先确认权重、许可文件和部署说明是否齐全,再检查自己的 8GB 显存设备能否按目标上下文长度运行。
- 想把它用于日常 AI 编程,可以准备固定的前端组件修改、Node 错误排查和中文需求理解任务,与现用模型比较正确率及修改成本;这些能力目前没有原文评测支持。
- 准备通过 Node 接入推理服务的团队,应记录首字等待时间、生成速度、显存占用和并发表现,把 160 TPS、50 TPS 当作待核验的参考值。
- 需要长上下文的项目,应先按初始版本的 32K 评估需求,等 1.1 实际发布后再验证 128K 的效果,避免把路线图当成现成功能。