每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

资讯 AI 行业观察 全文 741 字 · 约 2 分钟读完 配图 2 张 分类模型发布开源安全对齐大模型

IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。 该项目由开发

所属频道 模型发布开源生态政策与风险

IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。

由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。

为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体控制在约 4.5 GiB,并使用“推测解码”(MTP)技术,在生成文本时预先采样并验证多个词元来提高输出效率。

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型(配图 1)

实际测试显示,普通文本生成速度约为每秒 31 至 39 个词元;生成程序代码时最高可达每秒 43 个词元,模型可处理约 16,000 个词元的上下文窗口。

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型(配图 2)

除文字聊天外,Garlic LLM 还支持语音输入与语音对话,分别使用 Parakeet TDT 0.6B v3 进行语音识别,并采用 Chatterbox 进行语音合成。它还可在 PS4 上执行 AI 生成的 Python 代码,并提供“思考模式”,让模型在回答前先进行推理。不过,启用语音对话会占用更多内存,文本生成速度会降至约每秒 22 个词元。

IT之家附上参考地址

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航

相关推荐 按相关度与热度排序

全部资讯 →
  1. 李彦宏谈AI四层结构:终极价值在应用层

    11月17日,2026年APEC工商领导人峰会11月17日至18日在深圳举办,主题为“共促繁荣,共赢未来”。百度集团创始人、董事长兼首席执行官李彦宏表示,过去几年大家都见证了AI技术的快速进步。在他看来,AI可以分为四个层次:底层是GPU芯片,往上是云基础设施,再往上是开源模型或前沿大模型——它们都构建在云基础设施之上

    来源 腾讯网
  2. 北大天大开源SpatialScout:让AI像人一样主动探索三维空间

    北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

    来源 AI 应用前沿
  3. 企业级AI终端赛道迎来新玩家 深兰科技转型提速

    中经记者 徐倩 上海报道在豆包AI手机验证消费端需求后,企业级AI终端赛道迎来新玩家。近日,深兰科技联合华为发布企业级大模型原生智能体工作手机Wowoker,尝试把智能体从“回答问题”推向“执行业务”:帮销售找客户、打电话、加微信、分析意向、管控沟通风险,并在员工离职后帮助企业锁住客户资产。与消费级AI手机不同,...

    来源 腾讯网
  4. 谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞

    IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。 据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs

    来源 AI 行业观察
  5. 阿里发布Qwen4-Max:2.4T参数仅激活71B,单任务费用降58%

    11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文,现已上线千问AI平台对外提供API服务,中小尺寸模型将陆续开源。 据介绍,Qwen4-Max采用基于Qwen稀疏注意力(QSA)的全新MoE架构,2.4T总参数仅激活71B。在权威全球前端编程盲测CodeA

    来源 AI 行业观察
  6. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
  7. 谷歌Gemini智能体测试中多次突破防护,攻击真实网站

    近日,人工智能安全研究公司 Trajectory Labs 与目标组织 Epoch AI 联合发布报告披露,在10月份开展的模型安全测试中,谷歌 Gemini4Argon 自主 AI 智能体在面对高压任务时,多次突破内置 API 安全防线与网络限制,对真实组织基础设施发起主动攻击。 在测试过程中,研

    来源 AI 开发者社区
  8. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  9. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
  10. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  11. 阿里Qwen4-Max发布:总参数2.4T,单任务平均费用降六成

    新京报贝壳财经讯(记者罗亦丹)11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文。基于创新的模型架构和训练优化,Qwen4-Max以更少的Token消耗实现了更高的性能,在智能体和编程等关键能力项上持续进化:在权威的全球前端编程盲测CodeArena中,Qw

    来源 腾讯网
  12. AI漫剧报价跌到每分钟40元:一天交付一部剧

    行业变天,AI漫剧制作价格骤降至原来的五分之一 “AI漫剧承制报价,每分钟40元。一天交付一部剧” 进入2026年11月,有公司开始在各大AI漫剧行业群给出每分钟40元的承制报价,并承诺一天交付一部剧。这在多个漫剧行业群引发了密集讨论。 AI漫剧行业对降价并不陌生。平台加快布局,大模型持续迭代,制作价格也在不断走低。据

    来源 AI 行业观察
  13. 华为云开源CloudRobo-WM1.2:两榜单均列第一

    华为云在杭州发布并开源昇腾原生具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络和原生DualAct架构实现动作生成。官方评测显示,其在RoboTwin2.0平均得分88.98%、LiberoPro2.0平均得分81.7%,均位列第一,并围绕世界建模、动作生成等构建五项核心技术。

    来源 凤凰科技
  14. 李彦宏APEC中英文两场对话:AI价值最终在应用层

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  15. 李彦宏APEC谈AI:价值在应用层,最紧迫是找到合适场景

    李彦宏表示,AI的价值最终来自应用层他指出,过去几年AI技术在芯片、云计算、大模型等层面取得了巨大成就,但在他看来,AI的力量最终要靠应用层释放——只有把AI真正用进各个国家、各个公司、各类组织的真实场景中,技术能力才能转化为实际价值。

    来源 TechWeb
  16. 腾讯云AI存储:Agent时代存储体系怎么重构?

    过去这一年,整个社会对存储的关注,比以往任何时候都要多。 在AI浪潮的影响下,存储需求激增,价格也一路飙升。 此前,对于发展AI,大家主要关心的是算力和算法,是芯片和大模型。如今,随着AI的不断落地,数据以及数据背后的存储底座,正在不断凸显其价值。 前不久,腾讯全球数字生态大会在深圳举行。在会上,行业大佬们纷纷指出,A

    来源 AI 行业观察
  17. Google三款新模型齐发:Hydrogen提速19%,API配额省24%

    2026年11月13日 AI 动态:Google 发布 Gemini 4 Hydrogen、Carbon 和 Decision 1,以价格和配额效率发起攻势;United Airlines 因安全风险屏蔽 AI 订票 Agent,PayPal 通过工程手段将助手准确率提升至 95%;开放权重模型向生命科学领域下沉。

    来源 AI 应用前沿
  18. 书生-S2.1 Flash开源:科研任务推理成本仅星河十分之一

    近日,上海AI实验室发布并开源书生科学多模态大模型 S2.1 Flash(简称书生-S2.1 Flash)。模型融合实验室近期一系列前沿原创技术,在科学数据理解、复杂科研任务闭环执行能力上实现进阶,且同一任务下其推理成本仅为智能体模型书生·星河的十分之一,让科研工作提质、提速、提效,实现多快好省。

    来源 AI 开发者社区
  19. 中广天择:AI算料业务成新增长曲线,AI漫剧产品陆续上线

    中广天择在2026年第三季度业绩说明会上表示,公司在AI方面已有布局。旗下数智中心以40万小时4K超高清视频与200万小时高保真音频建立起高质量垂类算料库,与国内头部大模型企业达成合作,AI算料业务已成为公司新的增长曲线。同时,公司AI漫剧业务也已经陆续有产品上线。公司将积极推动人工智能、大数据等前沿技术在业务全流程中

    来源 AI 行业观察
  20. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
向下滚动自动加载更多