基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
模型发布2026-11-22 19:50

Inkling 2 Mini 以层循环增加推理计算

dev.to · AI#开放权重#本地推理#模型架构
Editor brief · 编辑速览

据文章转述,Thinking Machines Lab 发布开放权重模型 Inkling 2 Mini,总参数 264 亿、每 token 激活 34 亿,内存占用约 20GB。模型对每个生成 token 重复运行中间层三次,相关性能数据来自发布方及合作方,未经作者实测。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Inkling 2 Mini 想验证一条小模型路线:让同一组中间层多算几遍,用额外计算换推理能力,同时控制权重占用。按原文引用的数据,这个约 20GB 的模型在多步编程、搜索和工具调用上表现突出,但知识问答、多轮聊天和复杂约束遵循仍有短板。

它值得关注,不只是因为能在本地运行,还因为它把更多推理放进了模型内部。不过,原作者没有亲测,成绩主要来自发布方和 EXO Labs。读这些数字时,需要分清架构证据、运行实测和演示宣传。

同一组层跑三遍,为什么可能更划算

普通 Transformer 的每个 token 依次经过整套网络,每层运行一次。Inkling 2 Mini 则让内部状态重复经过部分网络:权重只存一份,计算执行多次。

模型共 24 层,分成四组,每组六层。第一组负责把 token embedding 转成内部表示,只运行一次;中间两组共 12 层,使用共享权重运行三次;最后一组负责预测下一个 token,也只运行一次。因此,每个 token 实际经历:

6 + (12 × 3) + 6 = 48 次层计算。

这解释了两个容易混淆的指标:模型总参数为 26.4B,每个 token 激活参数为 3.4B;计入循环中的重复权重调用,weight activations 则为 5.4B。后一个数字不能理解成新增了参数。

为什么循环中间层?实验室认为,中间层更适合抽象推理,首尾更偏向表示转换。他们也做了对照:循环中间 12 层,在 28 项评测中的 27 项胜过循环最后 12 层。训练到第 2,000 步时,无循环基线要达到相同损失,估计需要前者 1.51 至 1.91 倍的计算;对末尾循环版本,这个比例是 1.24 至 1.36 倍。

循环还需要稳定训练的机制。模型采用来自 Kimi Team 2026 年论文的 Attention Residuals,让每层学习如何组合之前各块的输出。每轮读取开头块的输出,第二、三轮还读取上一轮留下的「message」。一个可学习门控起初完全阻断 message,再逐渐打开,避免训练突然承受循环反馈。

这条路线可追溯到 Universal Transformers(2018),并非新概念。此次更有价值的是开放权重和可研究的实现。发布方另一组比较显示,无循环模型训练便宜 7.5%,但在 512k-token 智能体轨迹上达到相同损失,需要多 140% 的推理计算。这里比较的是损失,不能直接推导成所有任务都更快。

约 20GB 的占用,靠的不只是循环

循环减少了增加网络深度时的权重需求,低精度训练和专家裁剪则进一步缩小模型。

Inkling 2 Mini 是混合专家模型(MoE)。大部分权重从预训练到强化学习(RL),每次前向计算都使用 4-bit 浮点格式 NVFP4,最后四层使用 8-bit MXFP8。发布权重沿用训练精度,避免了把一个 16-bit 模型事后转成 4-bit 时的额外转换损失。这不等于低精度训练完全没有代价。

模型最初每层有 384 个专家,每个 token 选择八个。训练中途,团队删除三分之二,只保留各层使用最多的 128 个专家,再用更大内部 Inkling 模型蒸馏出的 1T tokens 继续训练,让剩余专家接手工作。之后还有监督微调,以及覆盖 2,000 步、2.2T tokens 的 RL 阶段。

本地速度需要区分理论图表与实测。实验室以 614 GB/s 内存带宽、BF16 权重、batch size one 算出的上限,不是实际运行成绩。EXO Labs 报告的数字是:

设备 解码速度 提示词处理速度
96GB M5 Ultra Mac Studio 210 tokens/sec 3,620 tokens/sec
48GB M5 Max MacBook Pro 125 tokens/sec 1,750 tokens/sec

解码是持续生成内容,prefill 是先处理输入。两者影响不同阶段,长上下文任务不能只看解码速度。

EXO 的解释是,Mac 常受内存容量和带宽限制,循环增加计算却不增加权重,可能更适合这种资源结构。但「约 20GB 权重」不等于「20GB 内存就能用」,还得为上下文和运行时留空间。

编程榜单不错,为什么仍不能当通用助手

发布方把它与总参数低于 100B 的开放权重模型比较,包括 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL。几组成绩能看出它的优势方向:

评测 Inkling 2 Mini 对照模型
DeepSWE v1.1 48.2% Qwen3.8-27B:42.2%
SWE-bench Verified(bash only) 79.2% Qwen3.8-27B:77.8%
SWE-bench Pro v2(Hard) 77.9% Qwen3.8-27B:73.8%
MCP Atlas 82.7% Qwen3.8-27B:77.3%
BrowseComp(with compaction) 79.0% Nemotron 3.5 Super VL:78.9%

Vals Index v2.2 为 46.5%。但它在 Terminal Bench v2.1 上是 71.6%,低于 Qwen3.8-27B 的 73.0%,GDPVal-AA v2.1 也落后。

发布说明明确承认,各模型的评测配置不同。执行框架、工具权限和上下文处理都会改变成绩,一两个百分点应先视作接近。

循环增加每个 token 的计算机会,却不会自动补上模型缺少的事实知识。

可变循环研究版在 GraphWalks BFS、MRCR v2 等长上下文、多跳任务上受益,但增加循环没有改善 AA-Omniscience、SimpleQA Verified、WorldVQA 等知识密集型评测。搜索工具可以弥补部分知识缺口,却不能保证每次检索都正确。

它在 MultiChallenge 上为 50.0%,ComplexConstraints v1.1 为 33.4%,均落后于 Qwen3.8-27B;CritPt v2、HLE-Diamond 等困难推理任务也落后于更大模型。更合理的定位,是能调用工具的本地智能体候选。

推理写得更短,还能看出它在做什么吗

循环让模型在输出文字前完成更多内部计算,因此,可见思维链(CoT)可能承载更少的推理过程。

实验室发布了支持一至五轮的 TML-d24-varloop-research。Think Fast 测试中,不输出 CoT 时,模型能够以一半成功率解决的任务,其人类耗时跨度从一轮时的 16 秒升至三轮时的 37 秒,之后趋平。N-Hop Lookup 则到十轮仍有提升,尽管训练最多使用五轮。

在所有轮数下都答对的 GPQA Diamond 题目子集中,五轮时的推理平均为 1,661 tokens,一轮为 3,703 tokens。句长和真实英语词占比没有改变,「wait」「actually」「hmm」从每次回答 9.7 次降至 3.6 次,表现更像减少了反复纠结。

监控实验没有发现明确恶化:在长度为 750 至 1,250 tokens 的 CoT 上,模型按要求改变推理形式的成功率最高只有 0.1%;LinuxArena 隐藏恶意支线任务的隐蔽成功率在 1.0% 至 5.0% 间变化,没有随循环增加而明确上升。

但结论只覆盖当前规模。研究版 RL 仅在三轮下训练,更高循环数的 RL 是否会进一步压缩可见推理,仍是开放问题。

我的判断

我认可它把内存、计算和任务类型放在一起考虑。对于需要本地执行、多次调用工具的编程智能体,这比只比较参数大小更有参考价值。

但原文没有证明它能稳定替代云端助手。EXO 所说的天气应用开发比 Claude Sonnet 5.5 快 1.8 倍、按 API 定价便宜 11 倍,只是单任务演示,配置也没讲清。

能效数据同样有前提:Stanford 的 Hazy Research 与 Scaling Intelligence 在 NVIDIA DGX Spark 上测得,Inkling 为 0.703,Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159。但「intelligence per joule」的定义未充分展开,模型还分别用了 MXFP8、NVFP4 或 INT4,不能直接当作同条件排名。

与事后量化相比,原生低精度训练有明确的工程差异;与更大模型相比,循环也提供了另一种资源取舍。它是否适合普通团队,仍要靠自己的任务集判断。

能拿来做什么

  • 如果想给前端或 Node 项目接本地编程智能体,先测试修复真实 issue、运行测试和连续调用工具,记录完成率、总耗时与人工介入次数。
  • 如果任务依赖最新文档或冷门 API,就接入文档搜索和可核验的工具输出,单独检查检索失败后的行为。
  • 如果准备在 Mac 上部署,按原文截至 2026 年 11 月的官方路径,Ollama 要求至少 32GB RAM;24GB 及以下不在该路径覆盖范围内。容量规划还要计入上下文。
  • 如果需要审查智能体操作,应保留命令、工具参数、执行结果和代码差异。可见 CoT 可以辅助理解,不能独自承担审计依据。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
邮件引用重复让模型输入膨胀十倍
下一篇
实测智能体付款的 x402 与 MCP 接口

资讯速览

dev.to · AI · 2026-11-22 19:50

AI 评分 8.0 / 10

相关标签

#开放权重#本地推理#模型架构

继续阅读

  • 低价推理服务曝密钥窃取与请求窥探
  • 邮件引用重复让模型输入膨胀十倍
  • 实测智能体付款的 x402 与 MCP 接口
  • 给编程智能体加一个本地部署入口
  • 桌面助手如何区分停止播报与取消任务