Inkling 2 Mini 开放权重,支持本地编程
Thinking Machines Lab 发布了 264 亿参数的 Inkling 2 Mini,权重约 20 GB,采用 Apache 2.0 许可,在 DeepSWE v1.1 上得分 48.2%。模型对每个词元重复执行中间 12 层三次,以增加计算量换取更深的推理,无需存储额外权重。
AI 深度解读
Thinking Machines Lab 在 2026 年 11 月 20 日发布了 Inkling 2 Mini。按原文披露,这个 26.4B 参数的开放权重模型,靠反复运行中间层把权重文件控制在约 20 GB,同时在 DeepSWE v1.1 拿到 48.2%。
对前端和全栈开发者,这次发布最值得看的,是本地编码代理能不能接手「搜代码、改文件、跑测试、读报错、再修一轮」这样的任务。模型能装进电脑只是第一步,完整跑完一次任务要多久、改动能不能交付,才决定它是否适合日常使用。
24 层为什么能跑出 48 次层计算
Inkling 2 Mini 有 24 个纯解码器层,每 6 层一组,共 4 组。首尾两组各跑一次,中间两组共 12 层,每生成一个 token 就用同一套权重跑 3 遍。算下来是 6 + 12 × 3 + 6 = 48 次层计算,磁盘上仍然只需要存 24 层的权重。循环层省下的是额外权重的存储空间,每一轮计算依然要花时间。
模型还采用稀疏混合专家架构(MoE)。它有 26.4B 总参数,每个 token 路由到 128 个专家中的 8 个,激活 3.4B 参数。按原文口径,把循环中的重复激活也算进去,每个 token 约有 5.4B 次权重激活。前者描述参与计算的参数规模,后者还计入同一权重被反复用到的开销。
循环能工作,还靠注意力残差(attention residuals)让各层按学到的比例读取前面各组的输出,减少信息在反复计算时被揉进同一份累加结果。前 20 层以 4-bit NVFP4 训练和发布,后 4 层采用 8-bit MXFP8。原始检查点沿用训练时的数值格式,省去了训练后再量化这一步。
48.2% 能说明它擅长什么
按 Thinking Machines Lab 的报告,Inkling 2 Mini 在 DeepSWE v1.1 和 Vals Index v2.2 上领先总参数低于 100B 的开放权重模型,原文还称它在 SWE-bench Pro v2 等代理式编码基准上领先可比模型。社区文章提到的 SWE-bench Verified 79.2%,原文建议先按实验室报告值看待,等待独立复现。
模型支持文本和图像输入,输出文本,也面向工具调用和检索增强生成。它的编码用法是让代理查代码、执行命令、读取报错、再尝试修复。比如修一个 Node 项目里的依赖问题,代理可以先读项目的锁文件和测试输出,再决定改哪里。搜索和命令能给模型补充当前项目的信息,实际效果也就取决于代理给了它哪些工具,以及能让它执行几轮。
约 20 GB 的权重,需要什么机器来跑
模型卡列出三档硬件。1 台 NVIDIA DGX Spark、32 GB 及以上内存的 Apple silicon 设备,或其他建议配备至少 32 GB 显存的 GPU。约 20 GB 是检查点大小。运行时还要给上下文和推理留空间,模型卡也提示,各运行时对循环层的支持较新,速度会随软硬件组合变化。
原文列出的运行时包括 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo、TokenSpeed 和 Llama App。llama.cpp 和 Unsloth 提供 GGUF 构建,Apple silicon 上的 MLX 可以直接运行原始 NVFP4/MXFP8 检查点。Apache 2.0 权重可在 Hugging Face 找到,仓库名是 thinkingmachines/Inkling-2-Mini。原文给了社区用于启动本地 GGUF 服务的命令:
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
命令末尾的 :IQ4_NL 指定了 GGUF 变体,记录跑分时应把这个后缀也记下来。想先在线体验可以用 Tinker Playground,原文还列出 Tinker、SkyRL、Miles 和 NVIDIA AutoModel 作为微调选项。
循环发生在模型内部,代理该留什么日志
模型每多跑一遍中间层,开发者也不会因此多看到一段推理文本。Thinking Machines Lab 同时发布了研究检查点 TML-d24-varloop-research,训练时支持 1 到 5 次循环,并与 National Deep Inference Fabric(NDIF)和 Goodfire 合作研究模型内部的计算过程。原文提出了可解释性问题,尚未给出研究结论。
对编码代理,最容易核对的证据是它实际调过什么工具、收到了什么输出、改动后测试有没有通过。出问题时,这些记录能帮你判断它是读错了文件、用错了命令,还是拿到了正确的报错却修错了地方。
我的判断
原文最站得住的是对存储和计算的区分。约 20 GB 的权重降低了本地部署的门槛,循环执行的额外用时则需要在自己的机器上测。文中的分数来自实验室披露或社区转述,作者没有给出自己的笔记本实测,也没有用同一个仓库、同一套工具对比本地和云端代理。因此,「把本地设成默认」是作者的经验判断,基准分数还不足以支持每个团队照做。
本地推理确实可以省去云端按 token 计费,并在模型和工具都可离线使用时继续工作。保密性则取决于整条链路。只要代理仍会调用联网搜索、远程工具或遥测服务,相关内容就可能发出去。比较两种方案时,我会看同一批任务里有多少能一次验收,以及跑完任务和人工收尾各要多久。云端有网络往返,本地有循环推理耗时,原文没有提供能判定谁更快的端到端数据。
能拿来做什么
- 从手头的仓库挑一个有明确验收条件的任务,比如修复一个稳定失败的 Vitest 用例。给本地和云端代理相同的任务说明和工具权限,记录完成时间、测试结果和人工补改次数。
- 在 32 GB Apple silicon 上试跑时,用 MLX 加载原始检查点,拿平时会用的上下文长度和几轮工具调用测一次完整任务,同时观察系统是否开始大量使用交换空间。
- 把支持 OpenAI 兼容接口的编码代理指向本地端点,在独立工作树里开放代码搜索和测试命令,并保存工具参数、退出码、关键输出和最终 diff,方便复查失败发生在哪一步。