基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 00:58

Loop-9B 完成寒武纪适配,披露推理优化

IT之家#寒武纪#推理优化#模型部署
Editor brief · 编辑速览

寒武纪基于 vllm_mlu 适配 SenseNova Loop-9B,通过静态展开与权重共享,将 32 个物理解码层映射为 56 次层计算,并复用现有调度与 KV cache 机制。报道还介绍了多模态算子复用及 mHC 路由融合优化,称模型官方 4bit 权重约 4.9GB、部署显存需求低于 10GB。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

SenseNova Loop-9B 发布后,寒武纪宣布完成 Day 0 适配,让这款采用循环计算架构的模型在 MLU 平台跑通推理。这里值得关注的,是适配团队怎样把新架构接入已有推理框架:循环层静态展开、计算算子复用、路由计算融合。

对程序员来说,这条消息提供了一个工程案例:模型可以通过复用参数增加计算深度,但权重更小,不代表计算更少;发布当天完成适配,也不能直接证明性能已经领先。

约 9B 参数,为什么能执行 56 次层计算

SenseNova Loop-9B 的做法,是让中间层共享参数并循环执行,将 32 个物理解码层扩展为 56 次层计算。可以把它理解成:同一套处理模块被重复使用,让输入经历更多轮处理,而不是为每一轮都准备一套新参数。

模型还结合了流形约束超连接(mHC),面向复杂推理、代码、工具调用和多模态任务。原文把提升 Agent、代码与数据分析表现列为目标,但没有给出对应评测结果。

参数复用带来的直接收益是权重体积。报道给出的数据是:官方 4bit 量化后,权重约 4.9GB,部署显存需求低至 10 GB 内。

参数规模、计算次数和部署显存,是三个需要分别看的指标。

56 次层计算仍然需要实际执行,不能因为参数约 9B,就推断它的延迟与普通同规模模型相同。报道也没有说明「10 GB 内」对应的硬件、上下文长度、并发量以及是否包含图像输入,暂时不能据此估算自己的部署容量。

Day 0 适配靠什么跑通

寒武纪基于 vllm_mlu 完成适配,三个方向对应三类工程问题。

第一类是循环结构如何接入框架。适配团队把循环计算静态展开成 56 个顺序执行的层,以复用 vLLM 标准调度和 KV cache 机制。这里的静态展开,是提前把执行顺序排好,让框架按已有方式调度。

不同执行槽位的循环层仍共享同一份权重存储。原文称显存占用与 32 层模型相同,但这一表述出现在权重共享的语境中,不能直接外推成所有运行条件下的总显存占用都相同。

第二类是核心计算如何落到硬件。Attention、Linear Attention 和 MLP 模块,复用了 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现;图像输入则复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,处理图像并提取视觉特征。

第三类是额外路由计算的开销。mHC 的双流信息路由涉及归一化和 Sinkhorn 迭代,适配团队通过 TMO 融合接口处理归一化,又使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 的调度开销。

大白话解释:把原本需要分几次启动的小计算合在一起,减少启动和调度的成本。不过,报道没有给出融合前后的耗时,也没有披露自动生成算子的正确性验证过程。

我的判断

我认可这次适配的工程取舍:先让新架构复用成熟的调度机制和算子,再针对特殊计算做优化。与从头开发整套执行路径相比,这条路线有助于缩短适配过程,已有实现也能成为后续维护的基础。

但「跑通」和「跑得好」之间,还有需要测量的距离。

原文内容主要来自寒武纪官方介绍,没有独立实测,也没有吞吐、首 token 延迟、长上下文显存或不同硬件的对照数据。因此,Day 0 能说明适配响应及时,不能替代性能和稳定性结论。

同样,Loop 和 mHC 是否让代码、工具调用表现更好,需要任务评测支持。现阶段可以关注其设计与部署潜力,还不能仅凭这条消息判断它优于其他本地模型。

能拿来做什么

  • 如果准备做本地代码助手,可以将 SenseNova Loop-9B 列入候选,用自己的代码补全、修改和工具调用任务测试,再判断约 4.9GB 的量化权重是否带来实际部署收益。
  • 如果通过 Node 服务接入 MLU 推理端,应先核实 vllm_mlu 的可用版本和部署方式。报道没有提供版本号、启动命令或 API 示例,不能直接当作接入教程。
  • 如果负责推理性能排查,可以借鉴其检查顺序:先看新结构能否复用已有调度与算子,再定位归一化、迭代计算等小算子的启动开销,并用测量结果决定是否融合。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 IT之家,原文版权归原作者所有。

阅读原文
上一篇
MCP 双鉴权:按客户端交互方式选型
下一篇
智能体借用你的身份,审计责任如何划分

资讯速览

IT之家 · 2026-11-18 00:58

AI 评分 8.0 / 10

相关标签

#寒武纪#推理优化#模型部署

继续阅读

  • 从 Go 智能体记忆库读懂数据结构设计
  • MCP 双鉴权:按客户端交互方式选型
  • 智能体借用你的身份,审计责任如何划分
  • 企业智能体上线的三阶段治理路线
  • 提示词改动上线前,为什么还要跑评估