百度昆仑芯M300与天池1024卡超节点明年上市,训练推理需求并重
随着智能体开始处理更多任务,模型需要频繁响应用户指令,日常推理的AI算力需求日益旺盛。百度(BIDU.US)创始人李彦宏在11月12日的百度世界2026开幕式上表示,训练和推理需求已并重,智能体规模化将带动推理需求增长,推理会成为AI芯片长期增长的重要推动力。李彦宏 顾群生/摄百度此次公布的芯片和算力产品计划,主要围绕
随着
在11月12日举行的百度世界2026开幕式上,百度(BIDU.US)创始人李彦宏提到,训练和推理的需求如今已经并重。
百度这次拿出的芯片与算力产品安排,正是冲着这一变化去的。
昆仑芯M100已经按原定时间上市,M300则排到2027年推出,基于全新架构。
千卡
百度集团执行副总裁沈抖在会上了发布相关产品。
天池256卡和512卡,百度早前已经对外公布过。
百度称,
两种加速柜也在会上做了介绍。
按照百度的说法,缓存命中的情况下,首个Token的等待时间能缩短90%,吞吐量提升到原来的7倍。
新模型跟昆仑芯之间做了协同优化。
会上百度正式推出两款文心应用模型,其中一款面向搜索、推理和工具调用。
这两款模型同一时间在百度智能云上线。
推理任务要跑起来,光靠芯片算力不够,芯片、存储和软件得配合着来,把数据传输和重复计算压下去。
百度表示,文心一镜极速版能做到一分钟视频一分钟生成,生成成本比行业水平低50%。
文心闪电重点讲的是和昆仑芯的配合。据百度介绍,该模型采用相关技术方案。
昆仑芯负责人在演讲中提到了相关内容。