打印机用 14.1MB 内存跑起 Gemma 3
实验将量化后的 2.7 亿参数模型和推理引擎封装为 PostScript 打印任务,在原有固件上逐层调入模型,峰值内存约 14.1MB。报道给出的生成速度与分阶段耗时口径不一致。
AI 深度解读
一台理光办公激光打印机跑起了 2.7 亿参数的 Gemma 3 270M,报道给出的运行时峰值内存约为 14.1MB。谷歌 DeepMind 技术团队成员奥马尔·圣塞维耶罗(Omar Sanseviero)把推理程序和量化后的模型做成一个 PostScript 打印任务,交给打印机自己的 CPU 执行。
这个实验最值得看的是内存怎么省下来的。模型按层轮流进出内存,峰值取决于同一时刻要留多少数据。至于标题里「每词元约 60 秒」的速度,正文还列了另一组分阶段计时,两者的统计口径没有交代清楚。
打印任务怎么变成了推理程序
据 IT之家 11 月 20 日报道,作者在 11 月 17 日通过 X 公布了实验。他借助 Gemini 4 Carbon 探索实现,把小型 Transformer 推理引擎和量化后的 Gemma 3 270M 编译成一个 PostScript 打印任务。Gemini 4 Carbon 用于协助实验,真正交给打印机运行的是 Gemma 3 270M。
PostScript 平时用来告诉打印机一页纸该怎么画,它也能表达计算。打印机内置的解释器负责执行程序,运算由机内 CPU 完成,最后把生成的答案印到纸上。实验沿用理光打印机原有的固件和硬件。
14.1MB 是怎么省出来的
推理涉及 18 个 Transformer 层。作者先对模型做了量化,也就是用更低的精度表示权重,再用动态层加载控制同一时刻留在内存里的数据。执行到某一层时调入该层,处理完再移出,轮到下一层时重复这个过程。
报道中的 14.1MB 是实验的运行时峰值内存。整个打印任务有多大、权重从哪里调入、量化用了多少位,报道都没交代。这些细节决定了同样的办法搬到另一台设备上,需要多少存储空间,又会花多少时间搬运数据。
每词元 60 秒和解码 0.1 秒怎么理解
报道一处给出每输出一个词元(token)约 60 秒,另一处给出一条具体提示的分阶段计时。处理输入 Read the fine 的预填充(prefill)约花了 184 秒,解码(decode)单个生成词元花了 0.1 秒,合计 184.1 秒。
预填充是先把整段提示读进去,为后续生成准备状态。解码是在已有状态的基础上生成下一个词元。按这条记录,等待时间几乎全花在处理输入上。报道没说每词元约 60 秒是用哪一轮任务、多少个输出词元算出来的,也没说明 0.1 秒能否持续到后续词元。因此,单次解码的耗时还不足以估计连续生成速度。
我的判断
这个演示证明了一个具体结果:原有的 PostScript 执行环境能完成这次模型推理,报道记录的峰值内存约为 14.1MB。至于分层加载单独节省了多少内存、付出了多少延迟,报道没有给出同设备对照,能参考的是实现思路。
如果设备内存足以让权重常驻,一次加载可以省去反复调入和移出的开销。内存卡得紧时,分层加载可以压低峰值,但实际代价要看权重的读取路径。单凭这组结果,还无法比较两种做法的速度,也很难外推到其他设备或更长的提示。
能拿来做什么
- 给 Node 上的本地推理做基准时,固定模型和提示,分别记录首个词元的等待时间、后续多个词元的平均耗时,以及进程的峰值内存。
- 遇到模型加载超出内存预算时,可以对照测一次权重常驻和分层加载,同时记下模型文件体积和实际耗时,看看省下的内存值不值得多出的读取开销。
- 读 AI 编程工具生成的性能报告时,先核对输入和输出各有多少词元,再看「每词元耗时」是否把处理提示的时间也算了进去。