实测完百度文心的新 Flash 模型,我有点意外
沉寂了六个月之后,百度终于发布了新的基础模型。 这周,百度正式推出了文心 5.5 Flash Preview。 这个模型在几个重要的 Benchmark 上表现不错,推理速度很惊....
沉寂了六个月之后,百度终于发布了新的基础模型。
这周,百度正式推出了文心 5.5 Flash Preview。
这个模型在几个重要的
特别是在最新 但文心只是个
毫不夸张地说,文心 5.5 Flash Preview,已经是目前市面上最有竞争力的 Flash 模型之一了。
现在,文心重新回来了。
#01
百度的底子
过去这段时间,我陆续写过美团、小米、腾讯、阿里、字节、Kimi、MiniMax、阶跃等公司的模型。
目前大家在模型架构方面,整体上已经大差不差。
虽然各家公司都有自己的技术创新,但主流模型基本还在
当然,各家公司也会在这套架构上做一些自己的创新,比如说改进注意力机制等等。但这些改进,我认为它只是在提升效率,并没有改变整体的基本面。
LLM 目前的竞争仍然还是那几个关键因素:人才、芯片、数据和基础设施。
而这几个方面,百度都有相当不错的家底。有这些家底,都不用出奇,只要守正,模型能力就不会差到哪里去。
从今年 5 月份发布文心 5.1,到这次文心 5.5 Flash Preview,中间差不多隔了 6 个月。这次新模型出来之后,我推测应该内部产生了一些变化,类似腾讯年初那样。
#02
文心 5.5 Flash Preview 的基本面
给大家介绍一下文心 5.5 Flash Preview 的基本情况。
1)模型总参数 280B,MoE 架构,100 万上下文。
2)推理速度很快,每秒 200 Token。
3)重点提升了编程和
4)普通输入、输出的价格和 DeepSeek V4.1-Flash 一样。缓存命中比 DeepSeek 贵。
5)模型会开放权重。Apache 2.0 协议
#03
具体的 Case 测评
我用文心 5.5 Flash Preview 做了一个可以自己布置的 3D 小岛,叫晴雨岛。
岛上有小屋、池塘和花园,可以拖动视角,拉近看里面的细节。右边还能选树、花丛、长椅、路灯这些物件,放到岛上。
除了换天气,底下的滑杆也能控制昼夜和四季,自己种下去的树也会跟着变。
大家先看最后的效果。
这次我让它用 它编写 Python 脚本,调用本机 Blender,分别生成岛屿和可放置的物件。
小屋、池塘、树木这些模型都有保留下来的工程文件,后面想改造型,还能继续在原来的基础上调整。
过程中对物体的外观形象效果改了好几轮。比如,早一版的樱花树和枫树,看着没什么区别,绣球花和普通灌木也有点像。我就让它继续改,几种植物得有各自的样子。
后来测试交互效果时,我又发现一个问题。原来的放置规则要求所有物体都必须放在岛上,结果木桥也没办法放进池塘里。
我就让它单独给木桥设计放置规则,解决落点、高度和水面衔接的问题。
它后来给木桥加了专门的规则。拖到池塘里,桥面要高于水面,桥墩往下接到池底。靠近岸边,桥台和岸线也得衔接。
转动方向以后,放置预览和碰撞范围会跟着转。最后,它还专门做了测试,确保木桥可以放进池塘,而其他物体仍然受到原来的放置规则约束。
中间过程中虽然需要持续提意见,但建模、网页里的交互等,文心 5.5 Flash Preview 完成的都还不错。
接着,我又让文心 5.5 Flash Preview 做了一段科普动画,讲埃拉托色尼怎么测出地球的周长。
要求是约 75 秒左右,有中文旁白和字幕,采用米白纸面、手绘线条的风格。除了讲清楚故事,还要演示木杆、影子、太阳光和地心角之间的关系。
先给大家看最后的效果。
这个 Case 有意思的地方,是它需要考虑观众能不能跟着画面理解原理。
同样是正午,为什么一座城市的阳光能照到井底,另一座城市的木杆却留下了影子。
动画先展示这两个现象,再从木杆的特写逐渐拉远,露出完整的地球,解释测得的角度为什么能用来计算地球周长。
背后的制作过程也挺完整。它用 HTML 和 SVG 编写动画,生成中文旁白,再根据时间轴安排镜头、字幕和标注,最后逐帧渲染,合成 MP4。
同步做了个 Skill,又生成了个视频:
这是价格锚定的视频(音频部分我接入了
最后,再给大家看一个我用文心 5.5 Flash Preview 做的小场景。午后的庭院里,晾着一件米白色的成人衬衫和一件浅杏色的儿童开衫。风吹过来,两件衣服轻轻晃动。
这个场景是纯代码做的。虽然效果看起来只有两件衣服,但是做起来却需要兼顾很多细节。
衣夹固定的位置应该稳住,肩部和袖子要自然下垂,风吹时各个部位的反应也要有区别。
最初几版,衣服就有些硬。肩膀撑得太开,衣身还有明显的胸腰轮廓,看着像穿在隐形模特身上等等,我让他继续完善。
文心 5.5 Flash Preview 检查后发现,衣身前后留出的厚度偏大,正面又比较平,所以容易显出人体的轮廓。领口内部没有合适的受光,也成了一块很深的黑洞。
后面它继续调整衣身的厚度和轮廓,减少刻意的收腰,让肩部自然落下来。领口补上内侧布面和柔和的阴影,袖子也跟着下垂。空衣服晾在绳上的感觉,才慢慢出来。
衣服的形状调整好以后,接着就得调整环境光。
我希望有午后晒衣服的感觉。浅色布料迎着阳光的地方稍微透亮,折叠和重叠的位置仍然偏暗,领口、纽扣和门襟也要看得清。
文心 5.5 Flash Preview 随后调整了右后方的阳光和正面的补光,又检查布料透光是否真的跟着光源方向变化。
交付前,它分别查看儿童开衫朝向太阳的一侧和背光的一侧,比较亮度与颜色,再检查成人衬衫的亮面和褶皱暗部。
除了整体亮起来,还要留下布料折叠后的明暗变化,两件衣服才不会糊成一片。
背景也做了几轮调整。前面有些树丛像几块绿色山丘,矮墙又太亮,容易抢走衣服的注意力。
后面它降低了矮墙的存在感,重新安排草地和后方树丛的距离,让背景退远,两件衣服留在画面里最清楚的位置。
到了风动部分,衣夹保持固定,衣身、袖子和下摆各自轻轻摆动,褶皱也随之变化。袖口靠近时,衣服的连接处还得保持完整,不能一动就脱开。
最后,它选了循环里的几个时间点分别渲染,再拼成一张图检查,确认衣服摆动、袖口靠近和接触时,整个构图都能保持稳定。
这个 Case 前后也改了不少轮。最花心思的,还是衣服质感和环境光。两件衣服在风里轻轻碰一下,画面中就带了点脑补的余地,我还挺喜欢这种感觉。
#04
技术创新
效果就是这些,这次文心 5.5 Flash Preview 在架构和推理效率方面,也有很多值得一说的技术创新。
比如
混合稀疏注意力这块,文心的思路是把
具体来说,整个模型有 43 层 Transformer,其中 37 层采用 HCA,把每 128 个 Token 压缩成一条缓存信息,同时保留最近一小段未经压缩的内容。
剩下 6 层采用 MLA,保留对历史 Token 的细粒度访问能力,再通过稀疏注意力,从历史信息中挑选最相关的部分进行计算。
这样做的好处是,大部分注意力层只需要处理压缩后的历史信息,
而少数 MLA 层仍然可以访问完整的历史 Token,需要查找具体信息时,也不至于因为过度压缩而丢失关键细节。
其实 HCA、MLA 本身都不是什么新技术,百度这次主要的创新在于怎么把它们组合起来,以及怎么分配 KV Cache。
包括 MoE 本身,它也针对性做了一些改进。
我们都知道,MoE 模型采用的是混合专家架构,每个 Token 只会激活一部分专家参与计算,具体调用哪些专家,由路由器根据当前 Token 的特征来决定。
传统的单路由器方案有个问题,如果某个专家没有被选中,就拿不到对应 Token 的训练信号,后面也更难被选中。
文心这次引入了多个路由器,让它们共同给专家打分,减少单个路由器判断失误的影响,让专家选择更加准确。
在提高专家选择准确性的同时,它把输入专家网络的特征从 4096 维压缩到 2048 维,让专家在更小的空间里完成计算,最后再映射回原来的维度。
这样既不需要增加每个 Token 激活的专家数量,又能通过降低专家内部的计算维度,进一步控制计算成本。
ECHO 多 Token 预测这个技术,也能看出技术功底。
大语言模型通常采用
为了让模型能够提前预测后续的 Token,业界已经有不少
文心这次换了个思路,直接复用主干网络的最后一层,让它同时承担后续 Token 的预测任务,省掉了独立的 MTP 模块。
这里面有个很重要的区别。
传统 MTP 虽然也会把训练信号传回主干网络,但预测后续 Token 的任务主要由额外增加的模块承担。
而 ECHO 直接让主干网络最后一层接受多步预测的训练,原本负责预测下一个 Token 的参数,现在还得学会预测更远的内容。
这样做,相当于让模型在训练的时候,就学着多往后考虑几步。
根据文心公布的实验结果,这种方法对数学、推理和代码任务都有明显帮助。
而且还有个好处。主干网络的最后一层经过这样的训练,本身就具备了预测后续 Token 的能力,可以直接充当
这样既省掉了额外的预测模块,也能利用推测式解码提高生成速度。
#05
写在最后
其实除了这次模型本身,我还想聊聊文心最近在 RSI 方面的进展。
文章开头我提到,大模型竞争有几个关键因素,人才、芯片、数据和基础设施。但从今年下半年开始,我觉得可能还得加上 RSI。
因为大模型的研发,本身就是不断做实验、验证结果、调整方向的过程。研究员提出一个想法,跑完实验发现效果不好,就得重新分析原因,再换个方案继续尝试。
而模型的每一次进步,背后可能都是成百上千次这样的试错。
所以,谁能在同样的时间和算力条件下,做更多有价值的实验,更快找到有效的改进方向,谁就有机会把模型迭代的更好。
文心披露了一套叫
它这次已经参与了文心 5.5 Flash Preview 模型的研发工作。比如 GPU 上的
这个任务百度的工程师此前已经做过专项优化,剩下的提升空间很小,有些改动单独来看,只能带来 1% 到 2% 的收益。
后来,ERNIE Evolve 花了大约 3 天时间,尝试了三个研究方向,最终在保持确定性不变的前提下,又把推理吞吐量提高了 33.7%。
在真实的模型研发中,很多容易解决的问题,工程师早就已经解决了。
还有一些非常细碎、很难发现的性能瓶颈,需要反复尝试不同的方案,才能找到一点改进的空间。
如果这些事情都由研究员自己来做,时间成本非常高。
而现在,ERNIE Evolve 已经可以参与整个过程,从分析问题、提出假设,到修改代码、验证结果,甚至决定下一步应该研究什么。
也就是说,文心在 RSI 这块的探索也已经初见成效了。
确实,百度从来不缺做好 LLM 的条件。国内还在 AI 模型牌桌上的互联网公司,几年过去了,百度的储备仍然是第一梯队的。
而且这次从文心 5.5 Flash Preview 的模型表现,到 ERNIE Evolve 在 RSI 上的探索,能看出来,百度在技术研发上还是有不少真东西。
李彦宏也回应了大家起大早赶晚集的调侃。
逻辑上是这样,在 LLM 的技术层面,百度过去确实做了一些探索,比如
所以你要说百度这几年在模型研发上没干什么事,我觉得肯定不客观。但另一方面,文心过去几年的模型表现,确实还没有完全体现出百度的技术积累。
这才是我觉得比较可惜的地方。
不过,文心 5.5 Flash Preview 现在开了个好头。
除了基础模型,文心最近在应用模型上也有新动作。
昨天在百度世界 2026 主论坛上,百度还发布了
从基础模型到应用模型,再到 RSI,文心最近确实有不少新进展。接下来,就看百度能不能保持这个势头了。