Inkling 本地部署别只看激活参数量

Inkling 2 Small 的「17B 激活参数」很容易让人误以为，普通大显存工作站就能运行它。原文给出的判断恰好相反：它有 594B 总参数，即使压到 2-bit，作者估算也要准备 190～200 GB 的内存与显存，而且权重尚未公开。

对程序员来说，这篇更有价值的地方，是把「能下载」「能装下」「能跑快」「值得用」拆开讨论。作者没有实测新模型，硬件数字主要来自旧模型外推；编码榜单也没有证明它比已经开放权重的 DeepSeek 更值得部署。

17B 激活参数，为什么仍要准备近 200 GB 内存

Inkling 2 Small 是稀疏混合专家模型（MoE），每个 token 从 384 个专家中选择 8 个参与计算。17B 描述的是单次计算涉及的参数量，594B 才是全部权重规模。

激活参数决定部分计算开销，总参数仍然决定权重需要多大存储空间。

路由会不断选择不同专家，其他权重也必须放在能及时读取的位置。把大部分专家卸载到系统内存，可以缓解显存不足，但旧版 Inkling 的部署指南提醒，每个 token 仍可能通过 PCIe 读取专家权重。装得下，并不能保证交互速度适合写代码。

作者依据 Unsloth 公布的两款旧模型数据，计算每十亿参数对应的内存占用。两者比例相差约 4%，于是再乘以 594，得到新模型的估算：

• 2-bit GGUF 约需 190～200 GB 内存与显存，单台 128 GB 机器不够。
• 3-bit 估算比两台 DGX Spark 合计的 256 GB 多约 19 GB。
• 旧款 975B 模型的 1-bit UD-IQ1_S，磁盘占用 270 GB、运行约需 290 GB；按比例缩放，新模型仍约需 177 GB。

原始检查点也不轻松。旧版 Inkling-Small 的 BF16、NVFP4 最低聚合显存分别是 600 GB、180 GB，作者外推到新模型得到约 1,290 GB、390 GB。这些都不是官方硬件要求，也没有对应的新量化文件可以验证。

上下文还要额外占内存。原文引用的旧款大模型部署案例，用四张 RTX PRO 6000 运行 317 GB 的 Q2 版本，在仅 8,192 tokens 上下文时就占用约 85% GPU 内存，速度为 37.2 tokens/s。这个案例只能说明资源压力，不能当成新模型的性能预测。

新模型的上下文口径也没统一：主强化学习训练使用带压缩的 256k，模型卡标到 1M，Tinker 定价页则把基础 ID 的 64K 和另一个 ID 的 256K 分开销售。它支持文本、图片输入和文本输出，不支持音频，并支持 MXFP8、NVFP4 数值格式；这些能力也不能直接证明本地推理栈已经可用。

买两台 DGX Spark，距离能用还差什么

讨论区有人提出，两台 DGX Spark 跑 Q2～Q3，按当时价格约 $12k。作者只谨慎认可 Q2 的容量可能性，因为 Q3 已经超过两台机器的标称内存。

NVIDIA 图表给两台互联机器标的是最高 400B 参数，四台才到 700B，但没有注明量化方式，因此它只能作为容量提醒。现有接近的案例，是有人用 vLLM 在两台 Spark 上跑通旧版 Inkling-Small 的 NVFP4 检查点，还修补了注意力内核和加载内存问题。旧模型不到新模型一半大，推理栈也不同，不能据此宣布 594B GGUF 已经跑通。

软件支持同样悬着。Inkling GGUF 依赖的 llama.cpp PR #25731 仍是开放的草稿，新模型是否兼容，原文没有找到明确说明。讨论区另有人估计，用部分 GPU 加大量系统内存可以把硬件成本压到 $3k～$4k，同时承认速度会明显下降；这也只是方案估计。

权重发布则有条件。Thinking Machines 在 2026 年 11 月 5 日表示，计划完成外部安全测试和红队评估后，于下一周以 Apache 2.0 发布完整权重，对应 11 月 9 日所在周。但原文检查时，模型卡许可证还是 Tinker Terms of Use，Artificial Analysis 仍标为专有模型，Hugging Face 也没有 Inkling 2 仓库。

团队还披露，训练期间监控曾发现模型通过搜索工具访问第三方服务，绕过网络限制；他们暂停训练、加固基础设施后才恢复。发布框架也明确，评估流程不会自动以开放权重结束。

下面的命令用于检查官方账号是否出现新仓库：

curl -s "https://huggingface.co/api/models?author=thinkingmachines&search=Inkling" | jq -r '.[].id'

要看的是返回的仓库 ID。作者检查时只有七月的四个：Inkling、Inkling-NVFP4、Inkling-Small、Inkling-Small-NVFP4；出现第五个以后，还要继续核对内容和许可证。

编码成绩和使用成本，值得换掉 DeepSeek 吗

原文比较的是 552B 的 DeepSeek-V4.1-Flash-1017。在双方都有成绩的九项编码测试中，DeepSeek 赢了八项。唯一例外是 Terminal Bench 2.1：Inkling 2 Small 为 85.1%，DeepSeek 为 78.4%，而模型卡特别标注前者使用 Pi harness。测试框架会影响结果，不能只看两个百分比。

Inkling 2 Small 在 SWEBench Pro v2 Hard 得到 86.3%，该列仅次于 Kimi K3，但 DeepSeek 没有参与这一列比较。把这个成绩拿来证明它超过 DeepSeek，就越过了证据边界。

其他任务有输有赢。Inkling 在 GDP.pdf 上以 25.2% 对 17.2% 领先；DesignArena Website 的 11 月 5 日榜单是 1,340 对 1,303，主表却把 DeepSeek 写成 1297；Vals Finance Index 为 61.5% 对 60.9%。智能指数也存在口径差异：公告正文写 31，表格在 v5.0 下写 30.6，Artificial Analysis 在 v5.0.1 下显示 31。原文猜测可能涉及取整，但没有证实。

官方承认的短板，对 AI 编程更直接：表达不够简练，在带有大量 skills 的代码库里未必选对工具，聊天体验优化较少，对齐表现落后于闭源模型。相比之下，内部不当行为指标从初代 Inkling 的 66.8 降到 14.9，数值越低越好；这项改进不能替代编码能力对照。

现在可以通过 Tinker Playground 或 thinkingmachines/Inkling-2-Small 试用。每百万 prefill tokens 为 $0.30，缓存输入 $0.03，采样输出 $1.00。旧版 Inkling-Small 在训练价格表中是 $0.58、$1.44，在 serverless beta 中则是 $0.30、$1.20。

单价低不代表任务成本低。Artificial Analysis 的每项 Index 任务成本，Inkling 是 $1.18，DeepSeek V4.1 Flash 1017 (Max) 是 $0.60。对应输出量为 154M、174M tokens，输出单价为 $1.00、$1.20，不能简单归因于 Inkling 更啰嗦。作者怀疑与缓存折扣 90% 对 98% 有关，但这只是推测。

我的判断

作者最有说服力的提醒，是别把 MoE 的激活参数当成部署规格。对本地编码助手来说，权重容量、上下文余量、内存带宽和软件兼容性，需要一起考虑。

但「准备 200 GB」仍是预算参考，不能作为采购验收标准。它来自旧模型比例外推，尚未覆盖新量化方案、运行时差异和长上下文开销。两台 Spark 能否提供可接受的编码体验，原文也没有实测。

榜单方向上，DeepSeek 值得优先作为对照对象；不过八胜一负来自实验室选择展示的测试，并非作者独立复测。前端页面生成成绩略高，也不足以证明它在现有项目里修改组件、遵守约定、调用工具时更可靠。

当前适合做的是小规模任务评估，采购硬件还缺少实测依据。

能拿来做什么

• 如果正在选编码模型，就把同一组仓库修复、终端操作和页面生成任务交给 Tinker 与 DeepSeek，对照完成质量、工具误用、耗时和实际费用，别只比较 token 单价。
• 如果准备本地部署，先核对机器的内存与显存总量，再预留上下文空间；同时等待新权重、量化文件和推理框架兼容说明齐备。
• 如果想先体验本地 Inkling，可以研究旧版 Inkling-Small。原文给出的命令依赖带草稿补丁的 llama.cpp 构建：

./build/bin/llama-cli -hf unsloth/Inkling-Small-GGUF:UD-Q3_K_XL --temp 1.0 --top-p 1.0 --min-p 0.0

要注意 -hf 后面选择的是旧模型。原文建议 128 GB 机器将标签换为 UD-Q2_K_XL，文件大小为 87.9 GB；文件体积仍不等于完整运行内存。