RAMDeck 如何跨设备分摊大模型推理
RAMDeck 的公开节点参考实现使用兼容 llama.cpp 的 RPC 工作节点,各节点保存分配到的权重,并在生成时传递中间激活值。文章讨论单板机兼容性、网络延迟和容量限制,商用 Hub 的芯片和内存规格仍缺少完整资料。
AI 深度解读
一台电脑装不下的本地大模型,能不能用几台闲置机器一起跑?TradeMAV LLC 的 RAMDeck 给出了一种做法:把模型按层分给不同机器,各自用已有内存保存一部分权重,再通过网络传递推理过程中的中间结果。它解决的是模型能否装下的问题,生成速度还得在实际网络里测。
原文梳理了公开的 llama.cpp RPC 节点参考和商业版的能力。对做前端和全栈的读者,最直接的看点是,手头哪些机器能当节点,以及现有聊天应用接上它的 OpenAI 兼容接口后,流式输出和工具调用还能不能照常工作。
多几台机器,为什么能跑更大的模型?
RAMDeck 描述的工作方式是,主机器保存模型文件,参与推理的节点把分配到的层权重留在各自的内存里。生成文本时,计算推进到另一台机器负责的层,就需要把中间激活数据传过去。这里的激活数据可以理解成前面几层算出来、后面几层要接着用的结果。商业版还提供专用 Hub、浏览器管理面板和受管理的节点应用。
原文用 32B 模型算了一笔账。320 亿个参数按每个 4 bit 计算,裸权重约为 16GB,按十进制单位计。实际运行还要给量化元数据、运行时缓冲区和 KV 缓存留空间。KV 缓存保存前面已经处理过的上下文所对应的部分计算结果,上下文长度会影响这笔开销。官方另有一份关于 32GB RAM 和 32B 模型的指南,页面标注于 2026 年 11 月 11 日发布、11 月 14 日修改。原文没有给出可复现的容量测试,16GB 只能作为估算裸权重的起点。
容量和速度要分开算。节点可以各自装下一部分权重,但每次跨机交接都要传数据,慢节点和调度也会拉长等待时间。有足够内存的单机省去了跨机交接,因此即使集群成功跑起了同一个模型,也得分别测首 token 延迟和后续生成速度,才能知道用户打开聊天页面后会等多久。原文里的 Node USB 是软件启动介质,参与推理的还是各台电脑已有的 RAM 或 VRAM。

手里的树莓派、RK3588 和 Jetson 能加入吗?
作者查到的 Linux 安装包标注为 x86_64。想用树莓派、RK3588 或 Jetson 当节点,目前这份资料不足以确认官方支持。系统名和处理器架构要分别核对。安装包支持 Linux,只说明它面向这个操作系统,还要看具体是给 Intel、AMD 的 x86_64 主机,还是给 Arm 的 aarch64 主机。Apple 平台的 arm64 支持也只能作为该平台的依据,Linux ARM64 仍需确认安装器、系统镜像和计算后端。
按原文给出的资料,符合安装要求的 x86 单板机或迷你 PC 更适合作为首轮验证节点。至于专用 Hub,作者没有拿到完整的 SoC、RAM、存储、以太网速率、散热限制、功耗和额定输入规格。官方演示可以用来了解设备怎么接、节点怎么加。要判断它适不适合长期开机,仍需要规格和实际测试。
OpenAI 兼容接口能复用多少应用代码?
商业版宣称提供 OpenAI 兼容的 chat-completions 端点。手头已有 Node 聊天服务,可以先让客户端连到这个端点,试一次普通对话,再打开流式输出。前端能逐段显示文字之后,还要看 Node 服务能不能正确解析工具调用、按预期处理鉴权,以及多个请求同时发出时服务端怎么响应。这些行为会直接影响现有代码能复用到哪一步,原文只确认了厂商宣称的接入方式,实际行为还待验证。
公开仓库提供的是节点侧参考快照,可以用来查看 worker 如何接入与 llama.cpp 兼容的 RPC。商业版的协调器、管理界面和打包流程都在快照范围之外。如果目标是独立部署整套系统,单靠这份仓库还缺关键组件。许可也要读实际条款,仓库使用的 Apache 2.0 带有 Commons Clause 条件。
我的判断
这个方案最适合回答一个具体问题:手边有几台符合要求的机器,合起来能不能跑起那份单机装不下的模型?作者把内存容量与生成性能分开讨论是对的。原文提供的是架构分析和工程经验,没有给出同模型、同量化、同上下文下的单机与集群对照数据。官方演示展示的是部署流程,首 token 延迟、持续生成速度和断线恢复都还没有实测结果可供比较。
如果单机已经能装下目标模型,我会用它做基线。对交互式应用而言,即使平均生成速度看着接近,首 token 多等一截,用户也能感觉到。反过来,如果单机装不下,而且手头的 x86 设备和局域网已经具备,试集群就有明确目标。若考虑为它买 Hub 或添节点,还要把硬件规格和运行维护算进去。原文也提到众筹页和开发商网站的交付信息并不完全一致,购买前需要确认实际交付的硬件版本。
能拿来做什么
- 先用已有的
x86_64迷你 PC 或单板机试装。记录模型文件、量化、上下文长度、输出长度和网络条件,用同一套设置测首 token 延迟和后续每秒生成的 token 数。有能装下该模型的单机时,把它也纳入对照。 - 用你现有的 Node 聊天服务试接
chat-completions,逐项验证流式响应、工具调用格式、鉴权和并发。前端也跑一遍真实的聊天流程,确认增量内容和结束状态都能正常显示。 - 把节点休眠、断网和重新加入各试一次,观察进行中的请求怎样结束、恢复后下一次请求能否成功。如果计划用树莓派、RK3588 或 Jetson,先向厂商确认对应的
aarch64安装包、系统镜像、计算后端和已验证的硬件配置。