Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元
科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。
开源项目 Garlic LLM 把本地大模型搬上了越狱版 PlayStation 4,能跑 90 亿参数模型,最高生成速度达到每秒 43 个词元(Token),聊天和语音对话都不需要联网。Gigazine 在 11 月 17 日的博文中报道了这一进展。
项目出自开发者 Leonardo Alegria 之手。做法是绕开 PS4 原本为游戏图形处理准备的驱动,直接向 AMD GCN 架构 GPU 发送底层指令,让这台游戏机兼作一台能跑 AI 推理的“离线电脑”。
PS4 本身没有提供非官方程序可调用的通用 GPU 计算接口,也没有机器学习库,GPU 相关指令只能由开发者自己写。
内存有限,Garlic LLM 选了阿里巴巴的 Qwen3.5-9B 作为基座,模型权重压成 3 位或 4 位量化格式,加上加速数据总共控制在约 4.5 GiB。生成文本时它还借助“推测解码”(MTP)技术,预先采样并验证多个词元,以此提升输出效率。

实测中,普通文本生成速度约为每秒 31 至 39 个词元;写程序代码时最高能到每秒 43 个词元,上下文窗口约 16,000 个词元。

文字聊天之外,它还支持语音输入和语音对话:语音识别用 Parakeet TDT 0.6B v3,语音合成用 Chatterbox。PS4 上也能执行 AI 生成的 Python 代码,另外提供“思考模式”,让模型先推理再作答。不过语音对话更吃内存,文本生成速度会降到约每秒 22 个词元。
IT之家附上参考地址