Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

资讯 IT之家 全文 741 字 · 约 2 分钟读完 配图 2 张 分类模型发布开源安全对齐大模型

科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

所属频道 模型发布开源生态政策与风险

开源项目 Garlic LLM 把本地大模型搬上了越狱版 PlayStation 4,能跑 90 亿参数模型,最高生成速度达到每秒 43 个词元(Token),聊天和语音对话都不需要联网。Gigazine 在 11 月 17 日的博文中报道了这一进展。

项目出自开发者 Leonardo Alegria 之手。做法是绕开 PS4 原本为游戏图形处理准备的驱动,直接向 AMD GCN 架构 GPU 发送底层指令,让这台游戏机兼作一台能跑 AI 推理的“离线电脑”。

PS4 本身没有提供非官方程序可调用的通用 GPU 计算接口,也没有机器学习库,GPU 相关指令只能由开发者自己写。

内存有限,Garlic LLM 选了阿里巴巴的 Qwen3.5-9B 作为基座,模型权重压成 3 位或 4 位量化格式,加上加速数据总共控制在约 4.5 GiB。生成文本时它还借助“推测解码”(MTP)技术,预先采样并验证多个词元,以此提升输出效率。

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

实测中,普通文本生成速度约为每秒 31 至 39 个词元;写程序代码时最高能到每秒 43 个词元,上下文窗口约 16,000 个词元。

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

文字聊天之外,它还支持语音输入和语音对话:语音识别用 Parakeet TDT 0.6B v3,语音合成用 Chatterbox。PS4 上也能执行 AI 生成的 Python 代码,另外提供“思考模式”,让模型先推理再作答。不过语音对话更吃内存,文本生成速度会降到约每秒 22 个词元。

IT之家附上参考地址

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航

相关推荐 按相关度与热度排序

全部资讯 →
  1. 华为云开源CloudRobo-WM1.2:昇腾原生,具身智能落地提速

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云“行业 AI 梦工厂”正式发布并开源昇腾原生的具身世界模型 CloudRobo-WM1.2,通过五大核心技术突破,加速具身智能从实验室走向规模化落地。 CloudRobo-WM1.2 模型采用共享世界模型骨干网络实现预测增

    来源 AI 行业观察
  2. 阿里Qwen4-Max发布:总参数2.4T,单任务平均费用降六成

    新京报贝壳财经讯(记者罗亦丹)11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文。基于创新的模型架构和训练优化,Qwen4-Max以更少的Token消耗实现了更高的性能,在智能体和编程等关键能力项上持续进化:在权威的全球前端编程盲测CodeArena中,Qw

    来源 腾讯网
  3. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
  4. Google三款新模型齐发:Hydrogen提速19%,API配额省24%

    2026年11月13日 AI 动态:Google 发布 Gemini 4 Hydrogen、Carbon 和 Decision 1,以价格和配额效率发起攻势;United Airlines 因安全风险屏蔽 AI 订票 Agent,PayPal 通过工程手段将助手准确率提升至 95%;开放权重模型向生命科学领域下沉。

    来源 AI 应用前沿
  5. 阿里发布Qwen4-Max:2.4T参数仅激活71B,单任务费用降58%

    11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文,现已上线千问AI平台对外提供API服务,中小尺寸模型将陆续开源。 据介绍,Qwen4-Max采用基于Qwen稀疏注意力(QSA)的全新MoE架构,2.4T总参数仅激活71B。在权威全球前端编程盲测CodeA

    来源 AI 行业观察
  6. 腾讯混元Hy4 flash发布:0.5元/百万Token,计划开源

    新京报贝壳财经讯(记者韦英姿)11月16日,腾讯混元发布最新语言模型Hy4 flash,总参数量224B(含64BEngram参数),激活参数12B,支持多模态与1M上下文长度。定价为每百万Token输入0.5元、输出2元,命中缓存时0.02元,低于Hy4。

    来源 网易科技
  7. 书生-S2.1 Flash开源:科研任务推理成本仅星河十分之一

    近日,上海AI实验室发布并开源书生科学多模态大模型 S2.1 Flash(简称书生-S2.1 Flash)。模型融合实验室近期一系列前沿原创技术,在科学数据理解、复杂科研任务闭环执行能力上实现进阶,且同一任务下其推理成本仅为智能体模型书生·星河的十分之一,让科研工作提质、提速、提效,实现多快好省。

    来源 AI 开发者社区
  8. Agent递归自我改进:不训练模型如何越用越强?

    中科院自动化所与美团等机构联合发布综述,探讨LLM Agent如何在不更新模型权重的前提下,通过优化Prompt、记忆、技能和运行框架实现递归自我改进。文章梳理了“何时改、改哪里、怎么改”三个核心问题,并提出了包含收集、评估、诊断等七步的经验转化生命周期,为理解Agent从单次试错到持续进化的机制提供了清晰框架。

    来源 AI 应用前沿
  9. 阿里Qwen4-Max发布:2.4T总参数仅激活71B,单任务成本降58%

    阿里巴巴11月16日发布新一代基座大模型Qwen4-Max,总参数2.4T但激活参数仅71B。新模型在前端编程盲测中位列全球第六,智能体能力评测领先。通过架构优化,其单任务平均费用较上代降低58%,缓存命中价格低至每百万Token 0.5元。目前该模型已上线千问AI平台,并在汽车制造、药物研发等场景落地,中小尺寸版本将

    来源 AI 应用前沿
  10. Fable 5.2登顶AI大模型榜:65分,27美元一次评测

    截止今日,11 月的榜有个反转:9 日 Anthropic 放出 Fable 5.2,综合指数 65,把 Gemini 4 Carbon 挤到第二。但这一分不是白拿的。图按五档排,分数取自 Artificial Analysis 的 Intelligence Index v5,收了 74 个模型、中位数 40 分。带「

    来源 腾讯网
  11. 华为云开源具身世界模型:覆盖八成具身企业,做机器人底层基建

    11月16日,华为云在线上发布并全面开源昇腾原生具身世界模型CloudRobo-WM1.2。该模型依托共享的世界模型骨干网络,增强了对环境的预测能力,并基于原生DualAct架构,实现了世界模型原生动作生成。同时,华为云宣布与福龙马集团联合研制的智能清扫机器人启动预售。据发布会介绍,该款CloudRobo-WM1.2模

    来源 腾讯网
  12. 企业级AI终端赛道迎来新玩家 深兰科技转型提速

    中经记者 徐倩 上海报道在豆包AI手机验证消费端需求后,企业级AI终端赛道迎来新玩家。近日,深兰科技联合华为发布企业级大模型原生智能体工作手机Wowoker,尝试把智能体从“回答问题”推向“执行业务”:帮销售找客户、打电话、加微信、分析意向、管控沟通风险,并在员工离职后帮助企业锁住客户资产。与消费级AI手机不同,...

    来源 腾讯网
  13. 腾讯混元Hy4 flash发布:每百万Token输入0.5元,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。” 混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。 该模型总参数量为224B(其中64B

    来源 AI 行业观察
  14. 斑马AI学发布2027版本

    36氪获悉,近日,斑马AI学发布2027版本,面向小学高年级阶段的斑马英语S8、斑马思维S7、斑马大阅读S7正式发布,这是斑马针对旗下AI学产品体系的一次系统性升级,意味着其产品已从兴趣启蒙全面进化至小学高阶的学习阶段。斑马自主研发的斑马儿童科教大模型,面向儿童学习场景打造,并已完成国家网信办生成式人工智能服务备案。基

    来源 AI 行业观察
  15. 困扰物理学界50多年的难题,科学家靠GPT-6 Astra给出新方案

    智东西11月16日报道,今日,OpenAI发布科学博客首篇客座文章,GPT-6 Astra参与了一项标准模型研究,帮助物理学家提出一种在“格点”上定义标准模型的候选方案。 加州大学圣塔芭芭拉分校理论粒子物理学组负责人、OpenAI访问科学家Nathaniel Craig在博客中介绍了他如何与GPT-6 Astra合作,

    来源 AI 行业观察
向下滚动自动加载更多