PS4破解机跑90亿参数大模型:43Token/秒,11月17日开源
2013年老GPU别扔!破解版PS4本地跑90亿参数大模型:43Token/秒比电脑还快
11月17日,开发者Leonardo Alegría发布开源项目Garlic LLM,让2013年问世的破解版PS4能在本地运行90亿参数的阿里通义千问Qwen3.5-9B大模型。
实测数据是:文本聊天模式下,生成速度最高能到43Token/秒,这一表现超过部分主流PC平台。

Garlic LLM没有走通常依赖Vulkan或OpenCL驱动层的路子。它完全绕开PS4的图形驱动,用OpenCL C直接写针对AMD GCN架构的计算算子,还手动构建PM4指令缓冲,直接与GPU通信。
靠这种越级通信,指令延迟被大幅压低,主频不高的PS4显卡也能满负荷处理复杂的矩阵运算。
内存方面,PS4只有8GB统一内存,开发者把Qwen3.5-9B做了4位(4-bit)量化,模型体积压到约4.5GiB。

语音交互链条也做了集成,不只是纯文本生成。语音识别用Nvidia的Parakeet模型,覆盖25种欧洲语言;语音合成输出则由Chatterbox模型提供,支持7种语言。
开着语音交互,运行速度仍能维持在22Token/秒左右。玩家按手柄按键录音,就能和PS4做完全离线的流畅语音对话,全程不需要联网。
项目已在Hugging Face平台开放下载,安装包约5.66GB,前提是PS4主机要跑GoldHEN自制系统环境。全部测试由开发者在固件版本11.52的PS4 Slim主机上完成。
