Inkling 2 Mini 用循环层探索本地编程
据文章介绍,Inkling 2 Mini 拥有 264 亿参数、采用 Apache 2.0 许可,约占用 20GB,可离线运行于笔记本。它通过重复执行中间层增加计算深度,但作者尚未实测,本地编程能力仍待验证。
AI 深度解读
Inkling 2 Mini 想回答一个很实际的问题:本地编程模型能不能少存一些参数,靠重复计算把能力补回来?原文给出的方向是循环执行中间层,让一个可下载的模型承担更多编码和工具任务。
但这还不是一篇上手评测。作者明确说自己没有运行模型,主要依据厂商公布的信息,外加一项第三方能效测试。值得看的,是它怎样交换参数、计算和内存,以及这些交换是否适合你的开发环境。
中间层多跑几遍,为什么可能更划算
按原文,Thinking Machines Lab 于 2026 年 11 月 20 日发布 Inkling 2 Mini:总参数 26.4B,开放权重,采用 Apache 2.0 许可证,权重占用约 20GB。别把它和两周前的 Inkling 2 Small 混淆,后者是 594B 模型,主要通过托管服务使用,权重承诺以后开放。
Mini 是一个 24 层的混合专家模型(MoE),分成四组,每组六层。首尾两组每个 token 执行一次,中间两组执行三次。算下来,24 层权重带来了 48 次层访问:6+12×3+6。
它重复处理的是内部表示,不是把已经生成的答案再读三遍。模型在输出下一个 token 前,多做几轮内部加工,同时复用同一批参数。
另一个关键数字是 3.4B:每个 token 实际激活的参数量。总参数关系到权重存储,激活参数关系到计算量;循环又增加了顺序计算。参数少、激活少和响应快是不同的问题,必须结合任务完成成本一起看。
厂商给了一组对照:未经剪枝、没有循环的模型,训练成本低 7.5%,但要在长智能体轨迹上达到循环版本相同的损失,需要多 140% 的推理计算。这支持循环设计的效率,但比较目标是训练损失,不能直接当成真实仓库修复成功率的证明。
训练配方也有取舍。每层最初有 384 个专家,训练中途剪掉三分之二,保留使用最多的 128 个,再用更大内部 Inkling 模型蒸馏出的 1 万亿 token 做恢复训练。先缩减容量,再补回能力,这是另一部分效率来源。
编码分数不错,成本数字还需要复核
原文列出的能力成绩均为公司报告,作者没有独立验证,厂商也承认不同模型的评测设置存在差异。
编码相关成绩包括:
- DeepSWE v1.1 为 48.2%,对照 Qwen3.8-27B 的 42.2%。
- SWE-bench Pro v2, Hard 为 77.9%,对照 Qwen3.8-27B 的 73.8%。
- SWE-bench Verified 为 79.2%,Vals Index v2.2 为 46.5%。
Artificial Analysis Intelligence Index 得分为 20.1,与 Qwen3.8-27B 持平。厂商报告,每个 Intelligence Index 任务的成本约为 $0.59,对照模型为 $3.53,并称成本约低至六分之一、完成速度约快 4 倍。
这组数字很吸引人,但原文没有交代足够完整的成本核算条件。它不是你在 Mac 上完成一个修复任务的确定价格,也不能直接换算为团队节省的开支。
第三方证据来自 Stanford 的 Hazy Research 和 Scaling Intelligence 实验室。他们在 NVIDIA DGX Spark 上测得,Mini 的每焦耳智能指标为 0.703,对照 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159。它支持能效优势,但硬件是 DGX Spark,不能据此推断 MacBook 上的速度、续航或散热表现。
工具使用也是亮点:BrowseComp 为 79.0%,DeepSearchQA 为 85.3%,MCP Atlas 为 82.7%。原文称这些成绩领先同体量模型。对编程智能体而言,检索资料、调用工具和继续执行任务,确实比单轮回答漂亮更接近实际工作。
能离线跑,不代表每种工作都适合
Mini 的弱项很明确:MultiChallenge 为 50.0%,ComplexConstraints v1.1 为 33.4%。长对话、多轮修改要求、同时遵守许多细节约束,都不应仅凭编码榜单推断效果。CritPt v2 和 HLE-Diamond 上,它也落后于更大的模型。
循环还有一条边界:增加计算,不增加已存储的事实知识。它的事实回忆能力仍与同体量模型接近。搜索和 MCP 成绩好,部分原因正是它善于借工具补知识。
因此,工具能力强与完全离线之间存在条件差异。离线时可以访问本地代码和工具,却不能默认继续获得联网搜索带来的收益。
厂商展示了两种用法:MacBook Pro 在飞行模式下,几分钟内做出可玩的飞行模拟器;一个本地实例驱动 Thinkyville 像素小镇里的 20 名居民。后者是共享模型实例、各自保有状态的智能体,不是同时加载 20 份模型。这些演示说明了应用形态,尚不能证明复杂仓库中的持续可靠性。
硬件门槛也要读完整。约 20GB 是权重占用,Thinking Machines 建议 Mac 使用 Ollama 时至少配备 32GB 统一内存,还要容纳运行开销和上下文状态。基础款 16GB 笔记本不在这个建议范围内。标称 1M-token 上下文,也不能理解为 32GB 机器可以无压力塞满整个窗口。
部署方面,原文称首日支持 SGLang、vLLM、Ollama、Unsloth、llama.cpp、NVIDIA Dynamo 和 TokenSpeed;强化学习微调支持 SkyRL、Miles、NVIDIA AutoModel。完整权重在 Hugging Face,GGUF 版本由 Unsloth 和 llama.cpp 提供。Tinker Playground 用于托管试聊,Tinker 提供托管推理和微调。
另外,内部循环让外部观察更困难。实验室发布了支持一至五次循环的 TML-d24-varloop-research,供研究者检查这种变化。早期实验没有发现循环次数增加会明显提高隐蔽性,但结果仍属初步。没有发现风险上升,和已经证明可监督,是两回事。
我的判断
我更看重它把计算放在哪里,而不是「小模型超过大模型」这个标题。复用中间层、稀疏激活、专家剪枝和蒸馏共同作用,才构成这套方案。把收益全部归功于循环,会漏掉训练配方和工具环境的贡献。
原文中的成本和编码成绩值得作为试用理由,还不足以作为替换依据。不同评测设置削弱了横向比较的确定性,飞行模拟器和像素小镇也没有提供与现有本地模型的同条件对照。「今年最有意思的本地模型」属于作者判断。
与云端编程模型相比,它的明确价值是可以下载、离线运行,并把代码留在本机;代价是你要承担硬件、部署和工具维护。与其他本地模型相比,谁更划算仍要实测。尤其是长对话和复杂约束任务,原文自己的成绩已经提示要谨慎。
是否适合编程,最终要看它能否在你的工具和代码库里稳定完成任务。
能拿来做什么
- 如果已有至少 32GB 统一内存的 Mac,可以挑一个真实的前端或 Node 仓库任务,与当前模型对比修复结果、测试通过情况、耗时和内存占用,别只比较生成了多少代码。
- 如果目标是离线开发,应断网验证完整流程,包括本地文档、依赖和工具是否齐备。把「模型能启动」与「任务能完成」分别验收。
- 如果准备围绕自有代码微调,可以把 Apache 2.0 权重及现有强化学习工具支持列入评估条件;1M-token 上下文先从较小输入测试,确认资源开销后再扩大。
- 如果工作以长对话和密集约束为主,先用实际需求清单检查它是否漏项、忘记前文,再决定是否接入日常编程流程。