基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
开源项目2026-11-20 23:28

NUMALLAMA 优化双路 ARM 无卡推理

dev.to · AI#ARM#推理优化#开源
Editor brief · 编辑速览

NUMALLAMA 更新通过激活打包、线程负载均衡和更大的预填充分块,将测试机上 Llama 3.1 8B Q8 的预填充速度从约 620 提升至 800 token/s。项目提供预转换模型及兼容 OpenAI 的服务接口,标题报告 Qwen3-30B-A3B 在双路 ARM 上解码约 90 token/s。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

没有 GPU,双路 ARM 服务器也能把 Qwen3-30B-A3B Q4 跑到约 90 tok/s。这是 NUMALLAMA 作者此次更新给出的实测结果。更新还包括更快的提示词处理、可直接下载的模型,以及兼容 OpenAI 的服务接口。

对程序员而言,重点是它能否接进现有工具,以及速度数字有哪些前提。作者明确给出了边界:针对 ARM64 优化、一次只处理一个请求、使用自有模型格式。它提供了一条 CPU 推理路线,但还不能据此判断普通服务器上的体验。

90 tok/s 到底快在哪个阶段

读推理性能表,首先要分清两个阶段:Prefill 负责处理输入的提示词,Decode 负责逐个生成输出 token。前者影响开始回答前的等待,后者影响回答生成的速度,两者不能混着比较。

作者在一台双路服务器上给出的数据如下,全部使用 CPU,没有 GPU:

模型 Decode Prefill
Qwen3-30B-A3B Q4 约 90 tok/s 约 600 tok/s
Llama 3.1 8B Q8 39 tok/s 约 800 tok/s
Qwen3.8-27B Q4 17 tok/s 约 175 tok/s

标题里的约 90 tok/s,指的是 Qwen3-30B-A3B Q4 的生成速度。它不代表所有模型都能达到这个水平;表内模型及量化规格不同,也不能只凭速度判断哪个更值得部署。

这些数字描述的是作者那台双路机器上的单请求表现。

原文没有交代 CPU 具体型号、内存配置、输入输出长度和测试重复次数。因此,既不能直接推算另一台 ARM 机器的速度,也无法从中得到并发吞吐或完整请求耗时。

提示词处理为什么能从 620 提到 800

这次最明确的前后对比,是 Llama 3.1 8B Q8 的 Prefill:从约 620 tok/s 提高到约 800 tok/s。

作者列出了三个改动:借鉴 Arm KleidiAI 布局的激活打包、更均衡的线程任务分配,以及更大的 Prefill 分块。可以理解为,把计算要用的数据排得更合适,让各线程少一些忙闲不均,再调整每批处理输入的规模。

作者称,优化后的输出与此前逐位一致,即 bit-identical。这项结果支持的是:在其测试中,性能调整没有改变输出;它不能替代模型效果评测。

原文没有分别测试三个改动的收益,也没有提供与其他推理框架的对照。能确认的是这组优化后的整体结果,无法判断其中哪一项贡献最大。

NUMALLAMA 更新的原文配图

接入现有客户端方便,部署仍有门槛

NUMALLAMA 增加了兼容 OpenAI 的服务器,支持流式输出、工具调用和 KV 前缀缓存。作者称,任何 OpenAI 客户端都能使用。对已有 AI 应用来说,这有利于沿用现有客户端接入方式。

不过,接口兼容不等于应用行为已经验证。尤其是工具调用,服务支持传递相关请求,并不自动证明模型能稳定选对工具、生成正确参数。

模型获取也简化了。Hugging Face 上已有 Qwen3-30B-A3B、Qwen3.8-27B、Qwen2.5,以及 Llama 3.1/3.2 的现成模型,沿用各自原始许可证,无需自行转换。

下面两条命令分别负责下载模型和启动服务器:

hf download miloserdev/Qwen3-30B-A3B-Instruct-2507-numallama --local-dir models/qwen3-30b
./runq models/qwen3-30b/qwen3-30b-a3b-instruct-2507-q4.bin -z models/qwen3-30b/tokenizer.bin -m server

注意第二行:模型文件与 -z 指定的 tokenizer 分开传入,-m server 用于启动服务模式。它使用自有格式,并非 GGUF,不能直接把现有 GGUF 文件代入这条命令。

硬件也有明确限制:项目针对具备 dotprod 支持的 ARM64 调优;x86 可以运行,但作者明确说不快。当前一次只处理一个请求。

我的判断

这次更新有价值的地方,是同时给出了性能变化和可运行入口。现成模型与兼容接口,降低了试用成本;逐位一致的前后结果,也比单纯宣称「更快」更有参考价值。

但约 90 tok/s 还不足以证明它适合一般团队的服务端部署。硬件信息和测试条件不完整,单请求限制又直接影响多人共用。原文也没有与其他方案比较成本、延迟或模型效果,不能据此判断 CPU 部署更划算。

与复用现有 GGUF 模型的做法相比,NUMALLAMA 需要接受独立格式及其模型发布流程。这个取舍是否值得,应由目标硬件上的实测决定。作者也正在征集 Graviton 或 Ampere 用户的反馈,说明跨硬件表现仍需要更多证据。

能拿来做什么

  • 如果已有 ARM64 服务器,先用实际提示词复测 Prefill、Decode 和完整响应时间,并记录硬件及输入长度,再评估是否部署。
  • 如果 Node 应用已经使用 OpenAI 客户端,可以验证服务接入、流式响应和工具调用;「任意客户端可用」仍应在自己的调用路径上确认。
  • 如果准备让团队共用,先核算一次一个请求造成的排队等待,不能只拿约 90 tok/s 估算服务容量。
  • 如果手上只有 x86 或现成 GGUF 模型,先把硬件适配与模型格式迁移算进试用成本,避免把 ARM 上的成绩当作本机预期。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
37 个 Postgres MCP 服务如何选
下一篇
给 Agent 加网页权限,可能打开数据外传通道

资讯速览

dev.to · AI · 2026-11-20 23:28

AI 评分 8.0 / 10

相关标签

#ARM#推理优化#开源

继续阅读

  • 把提示注入攻击加入 CI,防止安全修复回退
  • 37 个 Postgres MCP 服务如何选
  • 给 Agent 加网页权限,可能打开数据外传通道
  • 自动化步骤何时用代码,何时调用模型
  • AI 接口停服清单提醒迁移模型与提示词