Gemma模型塞进理光打印机:14MB内存,一分钟出1个token
14MB内存跑起Gemma3!打印机一分钟一个token
Google DeepMind 工程师 Omar Sanseviero 在社交平台上晒出了一次实验:把 270M 参数的
Gemma 模型放进一台办公激光打印机里运行。11月20日消息,整个过程中打印机固件没有被改动,也没有外接计算板。
过去人们普遍认为打印机那点算力干不了这种事。这回的办法是把推理过程编译成一份 PostScript 打印文件,交由打印机自带的解释器执行,计算全部在机器内部完成。

与之配合的是一个名为 Carbon 的轻量推理引擎,模型被它压缩到打印机扛得住的体量。内存不能被撑爆,于是实验采用动态层流式加载,让模型的各层轮流进出内存。
速度上付出的代价不小。原帖给出的峰值内存占用为 14MB,生成速度约一分钟一个 token,一句简短回答要等上几分钟。
实验输入的提示语是 Read the fine,打印机最终在纸上印出的是 Read the fine print。答案只有三个词,确实是打印机自己算完再打出来的。

这台设备是理光的办公激光打印机,用的是打印机中最常见的 PostScript 页面描述语言。Sanseviero 本人的表态也很克制:这更像一次把硬件推到极限的测试,距离真正能干活还差得远。
