基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 15:02

打印机用 14.1MB 内存跑起 Gemma 3

IT之家#端侧推理#模型量化#PostScript
Editor brief · 编辑速览

实验将量化后的 2.7 亿参数模型和推理引擎封装为 PostScript 打印任务,在原有固件上逐层调入模型,峰值内存约 14.1MB。报道给出的生成速度与分阶段耗时口径不一致。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

一台理光办公激光打印机跑起了 2.7 亿参数的 Gemma 3 270M,报道给出的运行时峰值内存约为 14.1MB。谷歌 DeepMind 技术团队成员奥马尔·圣塞维耶罗(Omar Sanseviero)把推理程序和量化后的模型做成一个 PostScript 打印任务,交给打印机自己的 CPU 执行。

这个实验最值得看的是内存怎么省下来的。模型按层轮流进出内存,峰值取决于同一时刻要留多少数据。至于标题里「每词元约 60 秒」的速度,正文还列了另一组分阶段计时,两者的统计口径没有交代清楚。

打印任务怎么变成了推理程序

据 IT之家 11 月 20 日报道,作者在 11 月 17 日通过 X 公布了实验。他借助 Gemini 4 Carbon 探索实现,把小型 Transformer 推理引擎和量化后的 Gemma 3 270M 编译成一个 PostScript 打印任务。Gemini 4 Carbon 用于协助实验,真正交给打印机运行的是 Gemma 3 270M。

PostScript 平时用来告诉打印机一页纸该怎么画,它也能表达计算。打印机内置的解释器负责执行程序,运算由机内 CPU 完成,最后把生成的答案印到纸上。实验沿用理光打印机原有的固件和硬件。

14.1MB 是怎么省出来的

推理涉及 18 个 Transformer 层。作者先对模型做了量化,也就是用更低的精度表示权重,再用动态层加载控制同一时刻留在内存里的数据。执行到某一层时调入该层,处理完再移出,轮到下一层时重复这个过程。

报道中的 14.1MB 是实验的运行时峰值内存。整个打印任务有多大、权重从哪里调入、量化用了多少位,报道都没交代。这些细节决定了同样的办法搬到另一台设备上,需要多少存储空间,又会花多少时间搬运数据。

每词元 60 秒和解码 0.1 秒怎么理解

报道一处给出每输出一个词元(token)约 60 秒,另一处给出一条具体提示的分阶段计时。处理输入 Read the fine 的预填充(prefill)约花了 184 秒,解码(decode)单个生成词元花了 0.1 秒,合计 184.1 秒。

预填充是先把整段提示读进去,为后续生成准备状态。解码是在已有状态的基础上生成下一个词元。按这条记录,等待时间几乎全花在处理输入上。报道没说每词元约 60 秒是用哪一轮任务、多少个输出词元算出来的,也没说明 0.1 秒能否持续到后续词元。因此,单次解码的耗时还不足以估计连续生成速度。

我的判断

这个演示证明了一个具体结果:原有的 PostScript 执行环境能完成这次模型推理,报道记录的峰值内存约为 14.1MB。至于分层加载单独节省了多少内存、付出了多少延迟,报道没有给出同设备对照,能参考的是实现思路。

如果设备内存足以让权重常驻,一次加载可以省去反复调入和移出的开销。内存卡得紧时,分层加载可以压低峰值,但实际代价要看权重的读取路径。单凭这组结果,还无法比较两种做法的速度,也很难外推到其他设备或更长的提示。

能拿来做什么

  • 给 Node 上的本地推理做基准时,固定模型和提示,分别记录首个词元的等待时间、后续多个词元的平均耗时,以及进程的峰值内存。
  • 遇到模型加载超出内存预算时,可以对照测一次权重常驻和分层加载,同时记下模型文件体积和实际耗时,看看省下的内存值不值得多出的读取开销。
  • 读 AI 编程工具生成的性能报告时,先核对输入和输出各有多少词元,再看「每词元耗时」是否把处理提示的时间也算了进去。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 IT之家,原文版权归原作者所有。

阅读原文
上一篇
Claude Code 每轮重读了哪些上下文
下一篇
Depth Pro 2兼顾视频深度边缘与帧间稳定

资讯速览

IT之家 · 2026-11-20 15:02

AI 评分 8.0 / 10

相关标签

#端侧推理#模型量化#PostScript

继续阅读

  • 让智能体的每次工具调用都可追溯
  • Claude Code 每轮重读了哪些上下文
  • Depth Pro 2兼顾视频深度边缘与帧间稳定
  • OpenAI用智能体排查性能回归并验证修复
  • 任务流程何时需要智能体