NUMALLAMA 优化双路 ARM 无卡推理
NUMALLAMA 更新通过激活打包、线程负载均衡和更大的预填充分块,将测试机上 Llama 3.1 8B Q8 的预填充速度从约 620 提升至 800 token/s。项目提供预转换模型及兼容 OpenAI 的服务接口,标题报告 Qwen3-30B-A3B 在双路 ARM 上解码约 90 token/s。
AI 深度解读
没有 GPU,双路 ARM 服务器也能把 Qwen3-30B-A3B Q4 跑到约 90 tok/s。这是 NUMALLAMA 作者此次更新给出的实测结果。更新还包括更快的提示词处理、可直接下载的模型,以及兼容 OpenAI 的服务接口。
对程序员而言,重点是它能否接进现有工具,以及速度数字有哪些前提。作者明确给出了边界:针对 ARM64 优化、一次只处理一个请求、使用自有模型格式。它提供了一条 CPU 推理路线,但还不能据此判断普通服务器上的体验。
90 tok/s 到底快在哪个阶段
读推理性能表,首先要分清两个阶段:Prefill 负责处理输入的提示词,Decode 负责逐个生成输出 token。前者影响开始回答前的等待,后者影响回答生成的速度,两者不能混着比较。
作者在一台双路服务器上给出的数据如下,全部使用 CPU,没有 GPU:
| 模型 | Decode | Prefill |
|---|---|---|
| Qwen3-30B-A3B Q4 | 约 90 tok/s | 约 600 tok/s |
| Llama 3.1 8B Q8 | 39 tok/s | 约 800 tok/s |
| Qwen3.8-27B Q4 | 17 tok/s | 约 175 tok/s |
标题里的约 90 tok/s,指的是 Qwen3-30B-A3B Q4 的生成速度。它不代表所有模型都能达到这个水平;表内模型及量化规格不同,也不能只凭速度判断哪个更值得部署。
这些数字描述的是作者那台双路机器上的单请求表现。
原文没有交代 CPU 具体型号、内存配置、输入输出长度和测试重复次数。因此,既不能直接推算另一台 ARM 机器的速度,也无法从中得到并发吞吐或完整请求耗时。
提示词处理为什么能从 620 提到 800
这次最明确的前后对比,是 Llama 3.1 8B Q8 的 Prefill:从约 620 tok/s 提高到约 800 tok/s。
作者列出了三个改动:借鉴 Arm KleidiAI 布局的激活打包、更均衡的线程任务分配,以及更大的 Prefill 分块。可以理解为,把计算要用的数据排得更合适,让各线程少一些忙闲不均,再调整每批处理输入的规模。
作者称,优化后的输出与此前逐位一致,即 bit-identical。这项结果支持的是:在其测试中,性能调整没有改变输出;它不能替代模型效果评测。
原文没有分别测试三个改动的收益,也没有提供与其他推理框架的对照。能确认的是这组优化后的整体结果,无法判断其中哪一项贡献最大。

接入现有客户端方便,部署仍有门槛
NUMALLAMA 增加了兼容 OpenAI 的服务器,支持流式输出、工具调用和 KV 前缀缓存。作者称,任何 OpenAI 客户端都能使用。对已有 AI 应用来说,这有利于沿用现有客户端接入方式。
不过,接口兼容不等于应用行为已经验证。尤其是工具调用,服务支持传递相关请求,并不自动证明模型能稳定选对工具、生成正确参数。
模型获取也简化了。Hugging Face 上已有 Qwen3-30B-A3B、Qwen3.8-27B、Qwen2.5,以及 Llama 3.1/3.2 的现成模型,沿用各自原始许可证,无需自行转换。
下面两条命令分别负责下载模型和启动服务器:
hf download miloserdev/Qwen3-30B-A3B-Instruct-2507-numallama --local-dir models/qwen3-30b
./runq models/qwen3-30b/qwen3-30b-a3b-instruct-2507-q4.bin -z models/qwen3-30b/tokenizer.bin -m server
注意第二行:模型文件与 -z 指定的 tokenizer 分开传入,-m server 用于启动服务模式。它使用自有格式,并非 GGUF,不能直接把现有 GGUF 文件代入这条命令。
硬件也有明确限制:项目针对具备 dotprod 支持的 ARM64 调优;x86 可以运行,但作者明确说不快。当前一次只处理一个请求。
我的判断
这次更新有价值的地方,是同时给出了性能变化和可运行入口。现成模型与兼容接口,降低了试用成本;逐位一致的前后结果,也比单纯宣称「更快」更有参考价值。
但约 90 tok/s 还不足以证明它适合一般团队的服务端部署。硬件信息和测试条件不完整,单请求限制又直接影响多人共用。原文也没有与其他方案比较成本、延迟或模型效果,不能据此判断 CPU 部署更划算。
与复用现有 GGUF 模型的做法相比,NUMALLAMA 需要接受独立格式及其模型发布流程。这个取舍是否值得,应由目标硬件上的实测决定。作者也正在征集 Graviton 或 Ampere 用户的反馈,说明跨硬件表现仍需要更多证据。
能拿来做什么
- 如果已有 ARM64 服务器,先用实际提示词复测 Prefill、Decode 和完整响应时间,并记录硬件及输入长度,再评估是否部署。
- 如果 Node 应用已经使用 OpenAI 客户端,可以验证服务接入、流式响应和工具调用;「任意客户端可用」仍应在自己的调用路径上确认。
- 如果准备让团队共用,先核算一次一个请求造成的排队等待,不能只拿约 90 tok/s 估算服务容量。
- 如果手上只有 x86 或现成 GGUF 模型,先把硬件适配与模型格式迁移算进试用成本,避免把 ARM 上的成绩当作本机预期。