英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

资讯 智东西 作者:孙 小雯 全文 4466 字 · 约 12 分钟读完 配图 9 张 分类Infra英伟达产品更新算力芯片

智东西11月20日消息,昨日,美国AI Infra创企Prime Intellect宣布推出模型训练平台Model Factory,企业可根据平台支持的模型和算力配置,更新现成模型的全部参数,或从零训练新模型。该公司称,其底层强化学习框架prime-rl支持在千张以上GPU集群上训练万亿参数以上的MoE模型。

所属频道 产品更新算力与芯片
英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE(配图 1)

智东西(公众号:zhidxcom)
编译 | 孙小雯
编辑 | 程茜

智东西11月20日消息,昨日,美国AI Infra创企Prime Intellect宣布推出模型训练平台Model Factory,企业可根据平台支持的模型和算力配置,更新现成模型的全部参数,或从零训练新模型。该公司称,其底层强化学习框架prime-rl支持在千张以上GPU集群上训练万亿参数以上的MoE模型。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

▲Prime Intellect发布Model Factory(图源:X)

Model Factory将预训练、继续训练、监督微调、强化学习和模型推理纳入统一平台,并支持将模型上线后的执行记录用于后续训练。科学研究、芯片设计、金融等专业领域的团队,可以围绕自己的任务和数据训练、部署并持续改进模型。

据该公司透露,其训练规模可扩展至数千张GPU。基于Qwen3-235B-A22B模型,MoE训练融合内核Prime Mega MoE在H200显卡上实现了48%的模型浮点算力利用率(MFU)。

目前,Model Factory支持按需托管(On-demand)和专属部署(Dedicated)两种服务方式。其中,专属部署支持客户自定义训练框架,并通过Slurm、Kubernetes直接提交并安排计算任务。此外,专属部署还支持为训练团队检查机器健康状态、自动替换故障机器,并从最近存档恢复训练。

定价方面,按需托管的训练费根据GPU型号、数量和占用时间计算,按秒折算,该模式下的数据存储另按每GiB每月0.09美元(约合人民币0.60元)收费,平台在任务启动前显示并锁定训练单价,不收取排队、调度和下载运行环境期间的费用。专属部署方案定制化收费。

Prime Intellect成立于2023年,主要为企业和研究团队提供GPU算力租赁、模型训练、评测和部署服务,并以API方式提供模型推理服务。此前,该公司曾宣布完成累计超1.5亿美元(约合人民币10.07亿元)的三轮融资,英伟达风投、英特尔资本为其A轮投资方。

据该公司今年7月披露,其年化营收规模(ARR)在不到一年内超过1亿美元(约合人民币6.71亿元)。目前,该公司客户超过6000家,并曾与英伟达共建2500项经过验证的跨应用企业任务。

该公司称,此前,仅前沿实验室能够完成训练及改进模型的全过程闭环,而Model Factory将打破这一技术藩篱。通过Model Factory,任何从事科学发现、芯片设计、金融等专业领域的团队,都可以基于自己的任务和数据进行模型训练及部署。

一、支持数千张GPU训练,提供模型一键部署服务

Model Factory由该公司此前推出的模型训练平台Lab升级而来。Lab主打托管服务,主要支持用户通过LoRA微调开展强化学习。此次升级进一步扩大了训练范围,并为需要深入修改训练系统的团队提供专属部署服务。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

▲Model Factory与此前Lab的功能对比(图源:Prime Intellect)

Model Factory支持预训练、继续训练、监督微调(SFT)和强化学习(RL)。用户提交训练配置后,可以按GPU小时付费使用托管训练,也可以选择专用部署,预留算力并调整底层系统。

在监督微调环节,用户可以从平台目录中选择现有开源模型,也可以导入自己已有的模型,再让上述模型学习成功案例、操作示范和专业领域回答。微调后的模型既可以直接使用,也可以继续接受强化学习训练。

开展强化学习时,用户需要设置训练环境,为模型提供练习任务、完成任务可用的工具,以及判断结果好坏的评分规则。开源平台Environments Hub中有超过2500个由社区开发者提供的现成训练环境,让模型在其中练习任务、接受评分,并按业务需求调整环境设置。研究人员可以跟踪奖励分数、检查执行过程;需要编写代码或调用工具的智能体还可使用隔离沙箱,平台支持数万个沙箱并发运行。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

▲Model Factory强化学习训练演示(图源:Prime Intellect)

针对新模型开发和基座模型训练,平台支持预训练、继续训练,以及不同模型架构、训练目标和算法的实验。该公司称,训练规模可扩展至数千张GPU,基于Qwen3-235B-A22B模型,MoE训练融合内核Prime Mega MoE在H200显卡上实现了48%的模型浮点算力利用率(MFU)。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE
▲Model Factory预训练实验演示(图源:Prime Intellect)

模型评测方面,研究人员可以先测试模型的初始表现,再评测训练过程中保存的不同检查点,比较训练效果。

确定需要部署的版本后,用户可以在控制台中将相应检查点一键部署为推理接口,供应用调用,也可用于生成合成数据和开展后续评测。按需托管与专用部署均支持一键部署。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

▲Model Factory模型部署演示(图源:Prime Intellect)

二、收集执行记录辅助模型改进,支持客户自有GPU部署

模型上线后,团队可以通过运行记录管理工具Prime Traces收集执行记录,查看智能体调用了哪些工具、经过哪些步骤,以及在哪一步失败。研究人员据此筛选下一轮训练样本,调整任务环境和评分规则。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

▲Model Factory执行记录收集演示(图源:Prime Intellect)

在该公司的编程智能体案例中,研究人员可以检查模型是否找到正确文件、是否运行测试,以及是否真正修复问题,再据此补充监督微调示范、调整强化学习奖励,或加入更难的任务。

新一轮训练后,研究人员可以结合代码修改和测试结果检查模型表现,并使用未参与训练的另一组任务开展评测,确认模型在训练任务之外是否同样有所改善,再决定是否部署新版本。

对于需要修改底层训练框架的团队,Model Factory还提供专用部署,客户可使用该公司或自有GPU搭建专用集群。研究人员既可以使用托管训练和推理服务,也可以通过调度器Slurm和Kubernetes直接管理集群,并按实验需求修改底层框架、运行自定义任务。

为支持长时间运行的实验,平台还提供健康检查、故障节点自动替换和训练恢复功能。据该公司披露,系统可在节点故障后从最近保存的检查点恢复运行,团队也可通过prime factory命令行工具,在不同任务之间调配GPU。

三、累计融资超10亿,为6000多家客户提供算力与模型服务

据该公司官网展示,Prime Intellect目前有三条产品线:模型训练平台Model Factory,前身为Lab;推理服务Prime Inference,为客户提供现成模型的API,也为客户自己的模型配置专属运行服务;算力服务Prime Compute,为客户提供按需租用的GPU、专属集群及配套运维。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

▲Prime Intellect的分布式AI训练构想(图源:Prime Intellect)

Prime Compute是一个GPU算力平台,用户可以根据模型训练、推理等任务的需求,选择GPU型号、数量和租用时长,支持按小时租用1至256张GPU,也可以预订由Prime Intellect负责运维的专属集群。该平台提供集群调度、运行监控和故障节点自动替换等功能,用户可通过API启动和管理算力资源。

Prime Inference则是模型推理服务平台,用户可以通过兼容OpenAI接口的API调用开放模型,也可以将自己训练的模型部署上线,接入应用。目前,平台支持按Token付费和预留专属算力,当某个数据中心的部署出现故障时,系统支持自动将请求转至其他正常运行的部署。

该公司透露,在正式对外发布前,Prime Inference仅处理公司内部的强化学习、合成数据生成、评测等任务,每天处理的Token量就已接近1万亿。

Prime Intellect的两位联合创始人此前分别有Web3及模型训练背景。该公司联合创始人兼CEO文森特·魏瑟(Vincent Weisser)曾参与创办去中心化科研组织VitaDAO,并在生物医药知识产权平台Molecule负责产品和AI业务。

其联合创始人兼CTO约翰内斯·哈格曼(Johannes Hagemann)硕士毕业于德国哈索·普拉特纳研究所IT系统工程专业,并于2022年初加入德国大模型公司Aleph Alpha,参与从零构建分布式训练框架。

2023年,哈格曼以第一作者身份完成《大规模分布式模型训练的高效并行化布局(Efficient Parallelization Layouts for Large-Scale Distributed Model Training)》论文,并获得NeurIPS 2023下属WANT研讨会最佳论文奖。

英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

▲Prime Intellect联合创始人兼CTO约翰内斯·哈格曼(左)与联合创始人兼CEO文森特·魏瑟(右)(图源:Prime Intellect)

客户合作方面,Prime Intellect曾与英伟达合作开展企业任务训练。双方共同构建了2500项经过验证的跨应用企业任务,覆盖邮件、客户管理、工单和表格等场景。英伟达以完成监督微调的Nemotron 3.5 Super VL为起点,使用NeMo RL开展强化学习,共投入128张GB200 GPU。训练后,在考察企业跨应用自动化能力的AutomationBench-AA公开测试集中,该模型的得分从训练前的34.0%提高至57.7%。

在融资方面,2024年4月,该公司宣布完成550万美元(约合人民币3692万元)种子轮融资,由Distributed Global和CoinFund共同领投。2025年2月,该公司宣布完成1500万美元融资(约合人民币1.01亿元),由创始人基金领投。今年7月,该公司完成1.3亿美元(约合人民币8.73亿元)A轮融资,由Radical Ventures领投,英伟达风投、英特尔资本、戴尔科技资本等参投。

结语:模型平台争夺长期客户,训练实效影响客户去留

Model Factory将算力、训练、评测和部署整合起来,扩大了Prime Intellect能够承接的客户需求。美国AI云服务商Fireworks等同行也在提供训练与部署服务,模型定制平台的服务范围正逐渐重叠。Prime Intellect需要凭借训练环境、沙箱、运行记录和集群控制等差异化能力,争取需要持续开发模型的客户。

服务范围接近之后,平台能否帮助企业更快完成实验、更稳定地上线模型,将更直接地影响客户选择。供应商也需要将项目经验整理成可复用的工具和方案,减少每次交付中的人工投入。客户是否持续使用该平台、是否完成有效模型训练,将检验一站式平台的长期价值。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 从英伟达到苹果、微软:同样拥抱AI,为什么企业的财富命运截然不同?

    AI正在改变企业创造财富的方式。检索、计算、起草、核对等标准化工作,越来越多地由工具完成。技术能力的普及并不意味着企业之间的差距会消失。相反,当算力和信息更容易获得,领导者如何提出问题、配置资源、处理冲突以及确定长期目标,开始更直接地影响企业能否把技术转化为持续价值。德鲁克曾把管理与领导分开:管理是把...

    来源 腾讯网
  2. 英伟达停售H200:25%关税通道终结,对华供货安排落幕

    【TechWeb】当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。 一个时代的终结:黄仁

    来源 AI 行业观察
  3. 英伟达停售H200:25%关税通道关闭,杰富瑞测算营收最多减620亿美元

    当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。

    来源 TechWeb
  4. 英伟达回应“黄仁勋离任会打乱 AI 芯片供货”疑虑:需求仍强劲,产品按计划推进

    IT之家 11 月 19 日消息,行业媒体 Digitimes 今天(11 月 19 日)发布博文,报道称在最新财报电话会议上,针对“换帅是否会打乱 AI 芯片供货”疑虑,英伟达临时首席执行官科莱特 · 克雷斯(Colette Kress)表示,公司业务照常开展。 在黄仁勋辞职后英伟达举行的首次财报电话会议上,克雷斯强

    来源 AI 行业观察
  5. 英伟达调整合作模式,提高新兴AI云厂商合作准入门槛

    【环球网科技综合报道】11月19日消息,据TechCrunch报道,英伟达在近日财报电话会议上披露,将调整面向AI云计算企业的合作担保机制,提高相关合作的准入条件,进一步筛选合作对象。据了解,在原有业务模式下,英伟达除向人工智能企业销售GPU产品外,还通过采购承诺、融资协助、股权投资等多种方式,助力合作客户推进数据中.

    来源 腾讯网
  6. 安谋科技“星辰”落子,端侧AI不用再死磕算力了?

    【环球网科技报道 记者 李文瑶】11月18日,安谋科技(中国)有限公司(以下简称“安谋科技”)正式对外解析Arm Cortex-M42 CPU,并发布基于该产品的“星辰100e”AIoT原型平台。随着AI算力加速向物理世界下沉,Arm的全球核心战略正从单一的IP授权向“全面计算与异构协同”升级。产品布局:精准卡位,打造

    来源 腾讯网
  7. 黄仁勋离开后,英伟达开始和 AI 云厂商讲担保条件了

    IT之家 11 月 19 日消息,科技媒体 The Verge 今天(11 月 19 日)发布博文,报道称英伟达收紧“金主”(sugar daddy)模式,对于云厂商和 AI 生态的“输血”设置了更高的门槛。 IT之家援引博文介绍,在黄仁勋执掌英伟达公司期间,英伟达不仅向 AI 公司出售 GPU,还会通过采购承诺、融资

    来源 AI 行业观察
  8. AMD苏姿丰给出2027年指引:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  9. AMD苏姿丰给出2027年目标:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  10. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  11. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  12. 马斯克:撤换黄仁勋如踢走乔丹

    TechCrunch报道,马斯克将撤换英伟达CEO黄仁勋比作把迈克尔·乔丹踢出球队,并称不认为黄仁勋对美国不忠。文章梳理这一言论的背景,分析英伟达在AI芯片领域的地位、黄仁勋的领导力,以及地缘政治争议下马斯克与英伟达既合作又竞争的复杂关系。

    来源 AI 科技快讯
  13. 英伟达临时CEO反复安抚:公司一切尽在掌控

    WIRED统计了英伟达临时CEO科莱特·克雷斯在公开场合多少次向外界保证“公司一切尽在掌控”。面对AI芯片市场的剧烈波动、投资者疑虑与公司过渡期的不确定性,这句反复出现的承诺既是定心丸,也成了值得玩味的新闻线索。本文梳理克雷斯的表态脉络,分析英伟达当前所处的微妙局面。

    来源 AI 科技快讯
  14. 黄仁勋离任后英伟达首场全员大会:克雷斯承诺全面加薪

    黄仁勋离任后,英伟达召开首场全员大会。临时CEO科莱特·克雷斯承诺全面加薪并扩大股权激励,以安抚动荡中的员工情绪。这场会议既是对人心的紧急止血,也折射出这家AI芯片巨头在领导层更迭期面临的治理与人才双重考验。

    来源 AI 科技快讯
  15. 三星 One UI 9.5 天气 App 测试 AI 提醒:出发前先看目的地天气

    IT之家 11 月 20 日消息,科技媒体 SamMobile 昨日(11 月 19 日)发布博文,报道称在 One UI 9.5 首个 Beta 测试版中,三星正在为天气(Weather)应用酝酿 AI 升级,在用户出发前提醒其查看目的地天气。 IT之家援引博文介绍,系统识别到用户计划前往另一座城市后,天气应用会显示

    来源 AI 行业观察
  16. 马斯克谈黄仁勋去留:换他等于把乔丹踢出球队

    TechCrunch报道,马斯克将撤换英伟达CEO黄仁勋比作把迈克尔·乔丹踢出球队,并称不认为黄仁勋对美国不忠。文章梳理这一言论的背景,分析英伟达在AI芯片领域的地位、黄仁勋的领导力,以及地缘政治争议下马斯克与英伟达既合作又竞争的复杂关系。

    来源 AI 行业观察
  17. 国产芯片三级跳:近10万颗出货后,存储与AI芯片各闯一关

    (本文作者为 冯伟冯大白,钛媒体经授权发布)文 | 冯伟冯大白今年前三季度,国内半导体产业获得的投资已经超过去年全年。投中嘉川CVSource统计的金额是3311亿元,投资事件1475起。进入11月,计算芯片企业的新融资仍在披露。资本愿意等待的产品,已经有了不同的模样。有的芯片卖进了客户机房,新资金用来准备下一代;有的

    来源 腾讯网
  18. 谷歌AI模式上线临时线程:搜索不留痕,服务器端仍存约两个月

    11月18日, 谷歌 宣布在全球桌面端及移动端浏览器的 搜索AI模式 中正式推出“临时线程”(Temporary Threads)功能,允许用户发起私密、非个性化的即时搜索,使其查询记录不留存于个人历史且不干扰后续算法推荐。 该功能借鉴了独立应用 Gemini 的临时聊天机制,用户无需修改账户隐私设

    来源 AI 开发者社区
  19. LlamaIndex发布OCRia-1.5,NVIDIA推Cosmos数据工厂

    本期速报关注文档解析与合成数据的新进展。LlamaIndex推出OCRia-1.5模型家族,提升复杂表格解析精度;Google DeepMind上线Genie 4,支持原生音频与实时编辑;NVIDIA发布Cosmos Data Factory蓝图,通过Prompt生成含稀有事件的训练数据。此外,Gemini应用适配低内

    来源 AI 应用前沿
向下滚动自动加载更多