Inkling 2 Mini 发布,满上下文显存需求更高
Thinking Machines Lab 以 Apache 2.0 许可发布 Inkling 2 Mini,检查点约 19.5 GB,支持百万 token 上下文。模型复用中间层权重,模型卡给出的等效激活规模为 54 亿参数,作者按配置估算满上下文的缓存还需约 16 至 33 GB。
原文暂未完整获取,基于公开信息的快读
Thinking Machines Lab 以 Apache 2.0 许可发布了 Inkling 2 Mini。主权重文件约 19.5 GB,模型支持百万 token 上下文,模型卡推荐 32 GB 内存。原文作者按公开配置估算,跑满上下文时,仅缓存还要约 16 至 33 GB。
目前能确认什么
模型存储约 264 亿参数,每个 token 激活约 34 亿参数。它采用循环 Transformer,24 层里中间 12 层共享权重、执行三遍。重复执行会增加计算量,因此模型卡给出的等效激活规模是 54 亿参数。
推理时,KV 缓存保存注意力机制用到的键和值,供后续 token 复用。模型的滑动窗口层只需保留窗口内的缓存,全局注意力层的缓存则随上下文增长。作者按 BF16 估算,如果循环中的全局层跨轮共享缓存,百万 token 约需 16 GB。如果每轮单独缓存,则约需 33 GB。这两个数字来自配置推算,实际运行占用仍待确认。
我的判断
部署前,先按业务实际需要的上下文长度算内存。
如果代码助手的上下文上限设为 128K,按作者同一套算法,缓存约需 2.1 至 4.3 GB。如果要开放百万 token,即使按 16 GB 的估算下限,加上约 19.5 GB 的权重也已超过 32 GB。
选定推理框架后,需要确认循环层是否按轮保存 KV 缓存、实际采用什么缓存精度,再用目标长度测峰值内存。现有节选没有确认各框架的缓存实现,也没有给出满上下文的实测占用。