基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
9.0
重磅
AI SCORE
模型发布2026-11-22 12:43

Inkling 2 Mini 开放权重,支持本地编程

dev.to · AI#开放权重#本地推理#编程智能体
Editor brief · 编辑速览

Thinking Machines Lab 发布了 264 亿参数的 Inkling 2 Mini,权重约 20 GB,采用 Apache 2.0 许可,在 DeepSWE v1.1 上得分 48.2%。模型对每个词元重复执行中间 12 层三次,以增加计算量换取更深的推理,无需存储额外权重。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Thinking Machines Lab 在 2026 年 11 月 20 日发布了 Inkling 2 Mini。按原文披露,这个 26.4B 参数的开放权重模型,靠反复运行中间层把权重文件控制在约 20 GB,同时在 DeepSWE v1.1 拿到 48.2%。

对前端和全栈开发者,这次发布最值得看的,是本地编码代理能不能接手「搜代码、改文件、跑测试、读报错、再修一轮」这样的任务。模型能装进电脑只是第一步,完整跑完一次任务要多久、改动能不能交付,才决定它是否适合日常使用。

24 层为什么能跑出 48 次层计算

Inkling 2 Mini 有 24 个纯解码器层,每 6 层一组,共 4 组。首尾两组各跑一次,中间两组共 12 层,每生成一个 token 就用同一套权重跑 3 遍。算下来是 6 + 12 × 3 + 6 = 48 次层计算,磁盘上仍然只需要存 24 层的权重。循环层省下的是额外权重的存储空间,每一轮计算依然要花时间。

模型还采用稀疏混合专家架构(MoE)。它有 26.4B 总参数,每个 token 路由到 128 个专家中的 8 个,激活 3.4B 参数。按原文口径,把循环中的重复激活也算进去,每个 token 约有 5.4B 次权重激活。前者描述参与计算的参数规模,后者还计入同一权重被反复用到的开销。

循环能工作,还靠注意力残差(attention residuals)让各层按学到的比例读取前面各组的输出,减少信息在反复计算时被揉进同一份累加结果。前 20 层以 4-bit NVFP4 训练和发布,后 4 层采用 8-bit MXFP8。原始检查点沿用训练时的数值格式,省去了训练后再量化这一步。

48.2% 能说明它擅长什么

按 Thinking Machines Lab 的报告,Inkling 2 Mini 在 DeepSWE v1.1 和 Vals Index v2.2 上领先总参数低于 100B 的开放权重模型,原文还称它在 SWE-bench Pro v2 等代理式编码基准上领先可比模型。社区文章提到的 SWE-bench Verified 79.2%,原文建议先按实验室报告值看待,等待独立复现。

模型支持文本和图像输入,输出文本,也面向工具调用和检索增强生成。它的编码用法是让代理查代码、执行命令、读取报错、再尝试修复。比如修一个 Node 项目里的依赖问题,代理可以先读项目的锁文件和测试输出,再决定改哪里。搜索和命令能给模型补充当前项目的信息,实际效果也就取决于代理给了它哪些工具,以及能让它执行几轮。

约 20 GB 的权重,需要什么机器来跑

模型卡列出三档硬件。1 台 NVIDIA DGX Spark、32 GB 及以上内存的 Apple silicon 设备,或其他建议配备至少 32 GB 显存的 GPU。约 20 GB 是检查点大小。运行时还要给上下文和推理留空间,模型卡也提示,各运行时对循环层的支持较新,速度会随软硬件组合变化。

原文列出的运行时包括 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo、TokenSpeed 和 Llama App。llama.cpp 和 Unsloth 提供 GGUF 构建,Apple silicon 上的 MLX 可以直接运行原始 NVFP4/MXFP8 检查点。Apache 2.0 权重可在 Hugging Face 找到,仓库名是 thinkingmachines/Inkling-2-Mini。原文给了社区用于启动本地 GGUF 服务的命令:

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

命令末尾的 :IQ4_NL 指定了 GGUF 变体,记录跑分时应把这个后缀也记下来。想先在线体验可以用 Tinker Playground,原文还列出 Tinker、SkyRL、Miles 和 NVIDIA AutoModel 作为微调选项。

循环发生在模型内部,代理该留什么日志

模型每多跑一遍中间层,开发者也不会因此多看到一段推理文本。Thinking Machines Lab 同时发布了研究检查点 TML-d24-varloop-research,训练时支持 1 到 5 次循环,并与 National Deep Inference Fabric(NDIF)和 Goodfire 合作研究模型内部的计算过程。原文提出了可解释性问题,尚未给出研究结论。

对编码代理,最容易核对的证据是它实际调过什么工具、收到了什么输出、改动后测试有没有通过。出问题时,这些记录能帮你判断它是读错了文件、用错了命令,还是拿到了正确的报错却修错了地方。

我的判断

原文最站得住的是对存储和计算的区分。约 20 GB 的权重降低了本地部署的门槛,循环执行的额外用时则需要在自己的机器上测。文中的分数来自实验室披露或社区转述,作者没有给出自己的笔记本实测,也没有用同一个仓库、同一套工具对比本地和云端代理。因此,「把本地设成默认」是作者的经验判断,基准分数还不足以支持每个团队照做。

本地推理确实可以省去云端按 token 计费,并在模型和工具都可离线使用时继续工作。保密性则取决于整条链路。只要代理仍会调用联网搜索、远程工具或遥测服务,相关内容就可能发出去。比较两种方案时,我会看同一批任务里有多少能一次验收,以及跑完任务和人工收尾各要多久。云端有网络往返,本地有循环推理耗时,原文没有提供能判定谁更快的端到端数据。

能拿来做什么

  • 从手头的仓库挑一个有明确验收条件的任务,比如修复一个稳定失败的 Vitest 用例。给本地和云端代理相同的任务说明和工具权限,记录完成时间、测试结果和人工补改次数。
  • 在 32 GB Apple silicon 上试跑时,用 MLX 加载原始检查点,拿平时会用的上下文长度和几轮工具调用测一次完整任务,同时观察系统是否开始大量使用交换空间。
  • 把支持 OpenAI 兼容接口的编码代理指向本地端点,在独立工作树里开放代码搜索和测试命令,并保存工具参数、退出码、关键输出和最终 diff,方便复查失败发生在哪一步。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
Edge 开放网页试用端侧语言模型
下一篇
抽查两万份技能文件后,作者给出编写准则

资讯速览

dev.to · AI · 2026-11-22 12:43

AI 评分 9.0 / 10

相关标签

#开放权重#本地推理#编程智能体

继续阅读

  • 用语音检测和分句合成降低本地对话延迟
  • Edge 开放网页试用端侧语言模型
  • 抽查两万份技能文件后,作者给出编写准则
  • 给 Claude Code 的高风险命令加一道提示
  • 接入 738 个 MCP 工具后,Claude Code 怎么选