Inkling 2 Mini 以层循环增加推理计算
据文章转述,Thinking Machines Lab 发布开放权重模型 Inkling 2 Mini,总参数 264 亿、每 token 激活 34 亿,内存占用约 20GB。模型对每个生成 token 重复运行中间层三次,相关性能数据来自发布方及合作方,未经作者实测。
AI 深度解读
Inkling 2 Mini 想验证一条小模型路线:让同一组中间层多算几遍,用额外计算换推理能力,同时控制权重占用。按原文引用的数据,这个约 20GB 的模型在多步编程、搜索和工具调用上表现突出,但知识问答、多轮聊天和复杂约束遵循仍有短板。
它值得关注,不只是因为能在本地运行,还因为它把更多推理放进了模型内部。不过,原作者没有亲测,成绩主要来自发布方和 EXO Labs。读这些数字时,需要分清架构证据、运行实测和演示宣传。
同一组层跑三遍,为什么可能更划算
普通 Transformer 的每个 token 依次经过整套网络,每层运行一次。Inkling 2 Mini 则让内部状态重复经过部分网络:权重只存一份,计算执行多次。
模型共 24 层,分成四组,每组六层。第一组负责把 token embedding 转成内部表示,只运行一次;中间两组共 12 层,使用共享权重运行三次;最后一组负责预测下一个 token,也只运行一次。因此,每个 token 实际经历:
6 + (12 × 3) + 6 = 48 次层计算。
这解释了两个容易混淆的指标:模型总参数为 26.4B,每个 token 激活参数为 3.4B;计入循环中的重复权重调用,weight activations 则为 5.4B。后一个数字不能理解成新增了参数。
为什么循环中间层?实验室认为,中间层更适合抽象推理,首尾更偏向表示转换。他们也做了对照:循环中间 12 层,在 28 项评测中的 27 项胜过循环最后 12 层。训练到第 2,000 步时,无循环基线要达到相同损失,估计需要前者 1.51 至 1.91 倍的计算;对末尾循环版本,这个比例是 1.24 至 1.36 倍。
循环还需要稳定训练的机制。模型采用来自 Kimi Team 2026 年论文的 Attention Residuals,让每层学习如何组合之前各块的输出。每轮读取开头块的输出,第二、三轮还读取上一轮留下的「message」。一个可学习门控起初完全阻断 message,再逐渐打开,避免训练突然承受循环反馈。
这条路线可追溯到 Universal Transformers(2018),并非新概念。此次更有价值的是开放权重和可研究的实现。发布方另一组比较显示,无循环模型训练便宜 7.5%,但在 512k-token 智能体轨迹上达到相同损失,需要多 140% 的推理计算。这里比较的是损失,不能直接推导成所有任务都更快。
约 20GB 的占用,靠的不只是循环
循环减少了增加网络深度时的权重需求,低精度训练和专家裁剪则进一步缩小模型。
Inkling 2 Mini 是混合专家模型(MoE)。大部分权重从预训练到强化学习(RL),每次前向计算都使用 4-bit 浮点格式 NVFP4,最后四层使用 8-bit MXFP8。发布权重沿用训练精度,避免了把一个 16-bit 模型事后转成 4-bit 时的额外转换损失。这不等于低精度训练完全没有代价。
模型最初每层有 384 个专家,每个 token 选择八个。训练中途,团队删除三分之二,只保留各层使用最多的 128 个专家,再用更大内部 Inkling 模型蒸馏出的 1T tokens 继续训练,让剩余专家接手工作。之后还有监督微调,以及覆盖 2,000 步、2.2T tokens 的 RL 阶段。
本地速度需要区分理论图表与实测。实验室以 614 GB/s 内存带宽、BF16 权重、batch size one 算出的上限,不是实际运行成绩。EXO Labs 报告的数字是:
| 设备 | 解码速度 | 提示词处理速度 |
|---|---|---|
| 96GB M5 Ultra Mac Studio | 210 tokens/sec | 3,620 tokens/sec |
| 48GB M5 Max MacBook Pro | 125 tokens/sec | 1,750 tokens/sec |
解码是持续生成内容,prefill 是先处理输入。两者影响不同阶段,长上下文任务不能只看解码速度。
EXO 的解释是,Mac 常受内存容量和带宽限制,循环增加计算却不增加权重,可能更适合这种资源结构。但「约 20GB 权重」不等于「20GB 内存就能用」,还得为上下文和运行时留空间。
编程榜单不错,为什么仍不能当通用助手
发布方把它与总参数低于 100B 的开放权重模型比较,包括 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL。几组成绩能看出它的优势方向:
| 评测 | Inkling 2 Mini | 对照模型 |
|---|---|---|
| DeepSWE v1.1 | 48.2% | Qwen3.8-27B:42.2% |
| SWE-bench Verified(bash only) | 79.2% | Qwen3.8-27B:77.8% |
| SWE-bench Pro v2(Hard) | 77.9% | Qwen3.8-27B:73.8% |
| MCP Atlas | 82.7% | Qwen3.8-27B:77.3% |
| BrowseComp(with compaction) | 79.0% | Nemotron 3.5 Super VL:78.9% |
Vals Index v2.2 为 46.5%。但它在 Terminal Bench v2.1 上是 71.6%,低于 Qwen3.8-27B 的 73.0%,GDPVal-AA v2.1 也落后。
发布说明明确承认,各模型的评测配置不同。执行框架、工具权限和上下文处理都会改变成绩,一两个百分点应先视作接近。
循环增加每个 token 的计算机会,却不会自动补上模型缺少的事实知识。
可变循环研究版在 GraphWalks BFS、MRCR v2 等长上下文、多跳任务上受益,但增加循环没有改善 AA-Omniscience、SimpleQA Verified、WorldVQA 等知识密集型评测。搜索工具可以弥补部分知识缺口,却不能保证每次检索都正确。
它在 MultiChallenge 上为 50.0%,ComplexConstraints v1.1 为 33.4%,均落后于 Qwen3.8-27B;CritPt v2、HLE-Diamond 等困难推理任务也落后于更大模型。更合理的定位,是能调用工具的本地智能体候选。
推理写得更短,还能看出它在做什么吗
循环让模型在输出文字前完成更多内部计算,因此,可见思维链(CoT)可能承载更少的推理过程。
实验室发布了支持一至五轮的 TML-d24-varloop-research。Think Fast 测试中,不输出 CoT 时,模型能够以一半成功率解决的任务,其人类耗时跨度从一轮时的 16 秒升至三轮时的 37 秒,之后趋平。N-Hop Lookup 则到十轮仍有提升,尽管训练最多使用五轮。
在所有轮数下都答对的 GPQA Diamond 题目子集中,五轮时的推理平均为 1,661 tokens,一轮为 3,703 tokens。句长和真实英语词占比没有改变,「wait」「actually」「hmm」从每次回答 9.7 次降至 3.6 次,表现更像减少了反复纠结。
监控实验没有发现明确恶化:在长度为 750 至 1,250 tokens 的 CoT 上,模型按要求改变推理形式的成功率最高只有 0.1%;LinuxArena 隐藏恶意支线任务的隐蔽成功率在 1.0% 至 5.0% 间变化,没有随循环增加而明确上升。
但结论只覆盖当前规模。研究版 RL 仅在三轮下训练,更高循环数的 RL 是否会进一步压缩可见推理,仍是开放问题。
我的判断
我认可它把内存、计算和任务类型放在一起考虑。对于需要本地执行、多次调用工具的编程智能体,这比只比较参数大小更有参考价值。
但原文没有证明它能稳定替代云端助手。EXO 所说的天气应用开发比 Claude Sonnet 5.5 快 1.8 倍、按 API 定价便宜 11 倍,只是单任务演示,配置也没讲清。
能效数据同样有前提:Stanford 的 Hazy Research 与 Scaling Intelligence 在 NVIDIA DGX Spark 上测得,Inkling 为 0.703,Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159。但「intelligence per joule」的定义未充分展开,模型还分别用了 MXFP8、NVFP4 或 INT4,不能直接当作同条件排名。
与事后量化相比,原生低精度训练有明确的工程差异;与更大模型相比,循环也提供了另一种资源取舍。它是否适合普通团队,仍要靠自己的任务集判断。
能拿来做什么
- 如果想给前端或 Node 项目接本地编程智能体,先测试修复真实 issue、运行测试和连续调用工具,记录完成率、总耗时与人工介入次数。
- 如果任务依赖最新文档或冷门 API,就接入文档搜索和可核验的工具输出,单独检查检索失败后的行为。
- 如果准备在 Mac 上部署,按原文截至 2026 年 11 月的官方路径,Ollama 要求至少 32GB RAM;24GB 及以下不在该路径覆盖范围内。容量规划还要计入上下文。
- 如果需要审查智能体操作,应保留命令、工具参数、执行结果和代码差异。可见 CoT 可以辅助理解,不能独自承担审计依据。