Edge0开源145B端侧模型：29GB内存跑起来，编程能力对标云端

端侧AI部署迎来一次关键突破。开源项目Edge0近日正式发布并开源Edge0-145B与Edge0-120B，并同步推出一套统一推理框架和部署工具。Edge0-145B号称全球首个能在个人电脑本地流畅运行的1450亿参数开源模型，把接近云端前沿大模型的编程、推理和智能体能力搬到了用户的笔记本上。

硬件极限怎么破：笔记本如何装下145B模型

端侧AI长期卡在两头：模型能力要强，硬件又得跑得动。参数一多，内存和带宽压力就上来；小模型省地方，却干不了复杂专业活。把重活交给云端，API费用、数据隐私限制和网络依赖又躲不开。

针对这些痛点，Edge0团队在架构、训练、加载和调度四个层面都做了改动。

稀疏专家架构（MoE）：模型让大量稀疏专家共享大矩阵，专家总数不变，需要存储和搬运的权重却明显减少。145B总参数里，每次推理实际参与计算的只有约10B。

端侧协同训练从零开始：训练初期就把端侧部署的硬约束写进设计，不再走云端模型事后压缩或剪枝的老路，也就避开了那一步带来的性能损失。

三层存储智能流水线：GPU内存、系统内存和固态硬盘（SSD）被串成一条高效流水线。高频“热专家”常驻GPU内存，约40GB的专家库放在系统内存里按需调入，约48GB的词表数据存在SSD上实时读取，串行等待因此被绕开。

CPU与GPU分工协作：已缓存的专家交给GPU算，其余工作由CPU并行处理；再靠投机解码把权重读取成本摊到更多输出上。

落到实测，Edge0-145B在兼容的个人电脑上表现如下——搭载苹果M系列芯片的MacBook Pro，或配备RTX4090/5090等的Windows平台均可：峰值内存占用仅29GB，提示词预处理速度超过1，100tokens/s，解码生成速度超过80tokens/s，典型功耗约120W，支持128K至256K超长上下文。

编程与推理对标云端，本地复杂工作流也能扛

核心能力上，Edge0-145B在多项国际权威基准测试中竞争力不弱。六项基准测试平均得分72.8；主流云端或大体积基线模型在标准4-bit部署下往往要占70GB至87GB内存，相比之下其实测内存占用缩减了约40%至60%，能力仍处同一梯队。

编程与智能体：DeepSWE1.1得分64.6，Terminal-Bench2.1得分86.52，指令遵循IFBench得分80.6。

推理与知识：GPQA-Diamond拿到90.4，逻辑与知识底子扎实。

代码生成、工具调用、自我调试和视觉检查这几项能力凑在一起，让Edge0-145B足以独立撑起复杂的本地端工作流。官方展示的实际场景里，它不只是日常聊天：本地一小时内做完特斯拉Roadster讲解视频的全套制作，在Blender中从零搭出曼哈顿3D城市场景，开发可玩的中世纪RPG游戏，编写控制真实无人机穿过障碍的飞行代码，甚至在KiCad中完成从PCB电路板布局到Unreal Engine装配动画的渲染。全程本地离线运行，云端API费用省了下来，核心敏感数据也留在用户手里。

端侧开源全家桶成形，AI走向“端侧优先”

145B之外，Edge0过去一年共发布四大系列、总计200个不同规模的模型，语音、文本、视觉与记忆都有覆盖。

Edge0系列：145B、120B面向笔记本，35B、8B面向手机，主打vibe coding与智能体任务。

Audio8系列：专注听与说，从0.1B到3B，涵盖多语种语音识别、合成及端到端交互模型。

Decision0系列：0.6B与3B的多模态快速决策模型，决策延迟压在40毫秒级别。

Embedding0系列：0.6B多模态嵌入模型，文本、语音、图像和视频的本地长期记忆与RAG检索都支持。

Edge0-145B与Edge0-120B的完整模型权重已在Hugging Face正式开源，统一推理框架与一键部署指南同步登陆GitHub，官方还推出了免环境配置的Edge0App。端侧硬件上的效率还在往上走，AI的应用范式正从“云端优先”转向“端侧优先，云端辅助”。