基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
9.0
重磅
AI SCORE
模型发布2026-11-22 10:14

Inkling 2 Mini 让编程模型跑上笔记本

dev.to · AI#开放权重#本地推理#编程智能体
Editor brief · 编辑速览

Thinking Machines Lab 开放了 Inkling 2 Mini 的权重,采用 Apache 2.0 许可,原生低精度权重约 20 GB,可在 32 GB 内存的 Mac 上运行。模型通过重复执行中间层进行推理,在 DeepSWE v1.1 上得分 48.2%,在仅使用 Bash 的 SWE-bench Verified 设置下得分 79.2%。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Inkling 2 Mini 把能跑编码代理的开放权重模型塞进了 32 GB 笔记本的部署范围。它靠混合专家架构和重复使用中间层控制每个 token 的计算开销,在两项软件工程基准上交出了不错的成绩。

但做实时工具,模型跑得动和用户等得起是两回事。原文作者用 Windows 双语通话浮层拆了一遍从对方停口到建议上屏的链路。这篇最有用的地方,是帮你分清换模型能省哪段时间,以及该在哪些环节打点。

26.4B 的模型为什么能放进笔记本?

Thinking Machines Lab 于 2026 年 11 月 20 日发布 Inkling 2 Mini,权重采用 Apache 2.0 许可。模型共有 26.4B 参数,活跃参数为 3.4B。24 层里,中间 12 层对每个 token 跑 3 遍,所以每个 token 实际经过 48 次层计算,约有 5.4B 次权重激活。同一组权重会反复参与计算,模型因此能加深计算过程。按原文估算,每个 token 的内存流量更接近 5–6B 模型。

原生 NVFP4/MXFP8 权重约 20 GB,原文称 32 GB Mac 或单张桌面 GPU 可以部署。llama.cpp 和 Unsloth 已有 GGUF 构建,Ollama 和 EXO 也为 Apple silicon 列出了该模型。它支持最长 1M tokens 上下文和文本、图片输入,功能列表里还有 function calling / tool use。20 GB 是权重体积,实际运行还要给 KV cache 和同机应用留空间。

成绩要按测试条件看。DeepSWE v1.1 得分 48.2%,在总参数低于 100B 的开放权重模型中领先。SWE-bench Verified 在 bash-only 条件下得分 79.2%。Thinking Machines Lab 还报告,在自家的代理式编码测试中,它相对 Qwen3.8-27B 的速度约为 4 倍,单任务成本约为六分之一。

对方停口后,时间都花在哪?

Windows 双语浮层需要分开保留两路 PCM,一路来自本地麦克风,一路通过播放端点的 loopback 拿到对方声音。WASAPI 要用共享模式,让 Teams、Zoom、Meet 或浏览器继续使用设备。音频引擎还要处理混音、通话增强、空间音频和厂商 APO。典型共享周期是 10 ms,IAudioClient3 可以请求更短的周期,作者称引擎可能忽略请求,或在负载下回退。蓝牙连同 LE Audio 也会引入缓冲。

作者把一条典型硬件上的链路描述为实测。WASAPI 共享模式的缓冲为 10–20 ms,音频引擎可能在样本到达应用前插入 10–40+ ms。进入应用后,还要分帧、做轻量语音活动检测(VAD)、重采样到 16 kHz 单声道,再交给语音转文字(STT)和小模型,最后由专用线程绘制浮层,绘制耗时低于 16 ms。作者给出的停口到首个可用部分结果是 80–200 ms。至于 Inkling 2 Mini,原文称在 32 GB Mac 或中端 NVIDIA 卡上,计入 KV cache 和 3 遍循环后,首 token 延迟仍是数百毫秒量级。原文没有交代这两组数字是否来自同一配置,也没定义什么样的部分结果算可用。

采集回调里到底应该做什么?

作者的伪代码把音频交给单生产者、单消费者(SPSC)无锁环形缓冲区,再由工作线程接手语音检测、识别和建议入队。

// capture callback — do almost nothing
void OnCapture(const BYTE* data, UINT32 frames) {
    ring.push(data, frames);  // lock-free
}

// worker thread
void Process() {
    auto frame = ring.pop_frame(20);  // ms
    if (!vad.speech(frame)) return;
    auto text = stt.partial(frame);
    if (text.empty()) return;
    // fire and forget to local agent
    agent.enqueue_suggestion(text);  // Inkling or smaller
}

留意 agent.enqueue_suggestion(text)。识别结果在工作线程里交给模型,采集回调只负责复制数据并返回。方案建议用 20–40 ms 音频帧,把 STT 产生的部分文本用于翻译润色、一句建议,或者需要时触发本地 RAG 查询。模型可以放到第二条 CUDA stream,或交给 NPU/GPU。3 遍循环会增加活跃层的带宽开销,带宽吃紧时,吞吐量可能低于纯 4B 稠密模型。

我的判断

我认同作者先拆链路再选模型。编码基准衡量的是代理能解多少题,通话浮层关心的是一句能用的建议何时出现。离线编码能等几秒,实时通话还得给语音识别和渲染留时间。作者提出用 1–4B 专用模型生成即时建议,把 Inkling 2 Mini 留给离线准备或更长的任务,这个分工有道理,但原文没有给出同机对照的建议质量、首条延迟或尾延迟数据,仍属于经验判断。

绑核和关闭音频增强同样要按设备和通话客户端验证。原文没有提供逐项关闭前后的数据,无法判断这两项各自能省多少,也无法判断关闭增强后会怎样影响识别。模型发布方给出的编码速度和成本,也只适用于文中所述的测试条件。

能拿来做什么

  • 如果你在做 Windows 通话浮层,分别记录采集回调、首个 STT 部分结果、首条可用建议和绘制完成的时间,用同一段音频比较换模型前后的尾延迟。
  • 如果浮层只需要一句提醒,用短而结构化的提示词固定输出格式,在同一设备上比较 1–4B 专用模型和 Inkling 2 Mini 的建议质量及出结果时间。
  • 如果打算把 Inkling 2 Mini 接到本地编码代理或实时工具上,用实际任务长度验证 GGUF 或原生权重的内存占用。实时工具要让 STT 和模型同时驻留,再测首条结果。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
79 个 Claude Code 子智能体如何共用工作目录
下一篇
AI 网关性能榜为何各说各话

资讯速览

dev.to · AI · 2026-11-22 10:14

AI 评分 9.0 / 10

相关标签

#开放权重#本地推理#编程智能体

继续阅读

  • 编程智能体提交凭证,导致 Together AI 提示词泄露
  • 79 个 Claude Code 子智能体如何共用工作目录
  • AI 网关性能榜为何各说各话
  • Spring AI 路由实践:拆分分类与回答
  • 为 Cursor 精简 MCP 工具,减少上下文负担