NaiveAI开源模型Naive-N0.5-Flash,获Latent Space首期实测
梦瑶 发自 凹非寺量子位 | 公众号 QbitAI国产大模型,又杀出一匹黑马!而且这回,还是被硅谷超火的硬核AI技术媒体Latent Space亲自实测出来的。就在11月10日,Latent Space推出全新模型测评栏目,专门做「不带立场」的新模型实测。而栏目首期,其就把目光投向了中国公司NaiveAI的开源模型Na
梦瑶 发自 凹非寺
量子位 | 公众号 QbitAI
国产大模型阵营里,又冒出一匹黑马。
这一回,它是由硅谷人气颇高的硬核AI技术媒体Latent Space亲手实测出来的。
11月10日,Latent Space上线了一个全新的模型测评栏目,主打「不带立场」的新模型实测。
栏目首期的主角,就是中国公司NaiveAI旗下开源模型Naive-N0.5-Flash。
对标的选手,则是
OpenRouter上最热门的两款Flash模型:DeepSeek V4.1 Flash 1017和GLM 5.3 Flash。
被拉来和两个头部模型同台较量的Naive-N0.5-Flash,交出的成绩单还挺有竞争力——
综合能力上,它夹在
DeepSeek V4.1 Flash与GLM 5.3 Flash之间,稳在国产主流模型第一梯队。编程能力整体同样处于两者之间,单项评测还实现了反超;3D太阳系应用表现最好,3D生长树与DeepSeek并列。
推理速度方面,极速模式下单秒峰值冲到2100 Token/s,思考阶段984 Token/s、作答阶段1816 Token/s,中位响应时间只有3.1秒,成绩相当亮眼。
提到NaiveAI,其创始人很多人都熟悉——代季峰。
这个模型的出身也颇为特别:架构、训练系统、推理优化,全程都有AI参与研发。
看得出来,NaiveAI这匹新锐黑马,已经在一众头部选手中站住了位置。
Latent Space亲测:中国大模型黑马杀进头部梯队
先说清楚,这次测评为什么值得一看。
在海外AI工程师圈子里,Latent Space这个名字听说过的人不少。
它是一家盯着AI工程领域的独立技术媒体,长期跟大模型、AI Agent和AI基础设施这些方向。
谷歌传奇工程师Jeff Dean等业界重量级人物,也曾受邀做客,聊大模型架构与工程优化等话题。
而且,Latent Space的内容一向以专业、硬核、贴近「真实工程实践」著称——
AI工程实践、大模型底层架构、Agent如何进入真实生产环境,它关心的都是开发者手头正在解决的问题。
换句话说,这家媒体的测评,直接面对的就是那群真会把模型拿去写代码、做产品的人。
作为Latent Space全新测评栏目的首期主角,中国公司NaiveAI的开源模型Naive-N0.5-Flash本身也值得一说。
技术路线上,NaiveAI在推理效率上下了不少功夫——
一边让AI帮着调优自研的NaiveRT系统,把生成速度最高推到2000 Token/s。
另一边用上稀疏注意力等办法,在撑起百万Token上下文的同时,尽量把计算开销压下去。
从产品定位看,NaiveAI盯准的正是眼下开发者最在意的两件事:
一是复杂编程任务能不能做得好,二是高频调用时推理够不够快。
不过这次测评真正有分量的地方,还在Latent Space挑的参照对象。
它直接把DeepSeek V4.1 Flash 1017和GLM 5.3 Flash拉了出来,这两款在OpenRouter上都很受欢迎。
这么一来较量就有看头了:NaiveAI面对的是两个已经在真实开发者市场跑出规模的对手。
那问题就来了,这模型究竟能打到什么程度?
Latent Space先把三款模型的「公开」评测成绩摆到了一起。
综合看下来,Naive-N0.5-Flash处在DeepSeek V4.1 Flash(1017)与GLM 5.3 Flash之间,已经挤进国产主流模型的头部竞争区间。
编程基准测试NL2Repo-Bench上,它更是直接超过了DeepSeek和GLM——
Naive-N0.5-Flash拿到71.9分,比DeepSeek和GLM分别高出3.7分、15.6分。
这项测试考的是模型能不能按自然语言需求搭出完整代码仓库,比生成单个函数更贴近真实的软件开发任务。
也就是说,在完整项目生成这类任务上,Naive-N0.5-Flash的公开评测成绩已经和两款头部Flash模型不相上下。
编程硬刚DeepSeek,速度冲到2100 Token/s
公开跑分当然只是一面,模型到底行不行,还得看实测。
Latent Space这次最先盯上的,就是Naive-N0.5-Flash最擅长的「速度表现」。
官方数据是:标准模式下单用户输出速度约50 Token/s,切到极速模式最高能到2000 Token/s。
结果Latent Space测出来的数字,比官方给的还要猛。
实测里,Latent Space挑了30道题,覆盖数学、科学知识和高难度推理三个层级。
三个模型回答难度相同的问题,同时测Token生成速度、输出长度和整次请求的耗时。
结果Naive-N0.5-Flash把速度优势直接打了出来——
单秒峰值约2100 Token/s,思考阶段约984 Token/s,正式作答时达到1816 Token/s。
响应时间更有体感:开启思考模式后,Naive-N0.5-Flash的中位响应时间只有3.1秒,DeepSeek是10.1秒。
也就是说,同一次请求,Naive-N0.5-Flash花的时间比DeepSeek少了大约69%,速度快了约3.3倍。
把这个结果放进真实的开发环境里看,分量会更清楚。
AI编程、Agent工作流这类场景,通常要一轮接一轮地调模型,中间穿插代码生成、调试、工具执行和结果回传。
一次请求省下几秒,调用次数一多就会叠加起来,最终可能变成更短的任务周期、更高的迭代效率。
但光快不够,「编程能力」还得在实战里站得住。
为此,Latent Space给三款模型喂了同样的提示词,让它们在不同思考模式下做三组网页应用开发任务——
内容涉及3D场景搭建、程序化建模、物理效果模拟和图形渲染,对代码生成和复杂功能落地都有不低的要求。
第一局:从零手搓一个完整的3D太阳系。
模型得独立做出太阳和各大行星,支持镜头旋转、行星公转、速度调节,星球表面纹理也要用代码写出来。
结果是,Naive-N0.5-Flash开启思考模式后,直接拿了全场最佳。
太阳表面的黑子看得清清楚楚,地球背光那面还出现了夜间城市灯光,整个场景的细节和完整度都比较突出。
对面站着DeepSeek、GLM这两位头部选手,它在场景完整度、视觉细节和交互实现上照样打出了自己的优势:
△左:Naive-N0.5-Flash (thinking) 右:DeepSeek V4.1 Flash 1017(high)
第二项任务,是生成一棵能「实时交互」的3D生长树。
树枝怎么分叉、树叶怎么分布、树皮纹理、草地阴影,再到风力作用下的动态变化,全都要模型用代码实现。
这一轮,Naive-N0.5-Flash (thinking)和DeepSeek V4.1 Flash 1017(high)表现接近,两者开启思考模式后都交出了质量较高的作品。
和太阳系那道题比,这一题更考验模型处理动态场景的本事。
成千上万片树叶要分布得合理,树枝在风里要摆得自然,同时实时渲染性能也不能掉。
Naive-N0.5-Flash能跟DeepSeek保持相近的完成质量,说明它在场景建模、动态效果和交互逻辑这类更复杂的编程任务上,实现能力已经相当扎实:
△左:Naive-N0.5-Flash (thinking) 右:DeepSeek V4.1 Flash 1017(high)
最后一项任务,把考验推到了「图形编程」上。
Latent Space要求三款模型把经典图形学教程《Ray Tracing in One Weekend》做成浏览器里能实时跑的光线追踪应用。
模型要模拟光线在玻璃、金属等不同材质上的反射与折射,并把场景渲染出来。
这类任务对数学计算、图形算法和代码执行效率要求都高,尤其需要模型吃透不同材质的光学特性,再把它变成能跑起来的渲染程序。
三款模型最后都交出了能跑起来的应用,NaiveAI的核心功能也顺利落地。
三组测试当然说明不了模型的全部本事,但至少给了一个直观信号:碰上不同类型的任务,Naive-N0.5-Flash这款新锐模型已经能和DeepSeek等头部模型同台过招。
中国大模型出海,正走进群雄并起的阶段。
这回NaiveAI被硅谷知名AI媒体Latent Space盯上,背后其实藏着一个更值得琢磨的行业变化——中国大模型正在海外技术圈加速冒头。往前数几年,海外开发者聊起开源模型和API调用,头一个想到的还是Llama、Mistral这些欧美选手。
可这两年,全球大模型的竞争格局已经明显变了样。DeepSeek靠高性能、低成本在全球打出名气,Qwen不断把开源生态做大,GLM、Kimi、MiniMax等中国模型也接连进入海外开发者的视线,在编程、推理和Agent这些方向上各自攒下了关注。
模型榜单上有它们,开源社区里有它们,实际的API调用中也越来越多地出现中国模型的身影。海外技术圈对中国大模型的印象,眼下正从少数几个明星产品,扩展成一支不断壮大的中国模型生态队伍。
△AI生成
更值得留意的是,中国大模型的出海竞争正在形成新的梯队:头部厂商继续领跑,新锐力量接连突围。NaiveAI就是个挺有代表性的例子。
行业里越来越多人感慨头部牌桌可能已经坐满、新玩家想挤进去越来越难,可就在这样的环境里,一家成立不到一年的公司,还是靠高速推理、底层优化和AI参与模型研发这些前沿技术,拿出了能和头部模型同台较量的成果。
另外,NaiveAI打成立之初就选定了「AI驱动AI研发」的技术路线:让AI参与代码编写、实验运行和持续迭代,人类研究员负责把握方向与关键决策,摸索一条用AI提升模型研发效率的新路子。为此,公司搭起了大规模AI研发基础设施,每周支持近千万次沙箱运行,峰值并发达10万个。
这个思路也引起了Latent Space作者Gabriele Beltramo的注意。在他看来,NaiveAI正在探索一条颇具潜力的路径:让AI优化自己的推理CUDA内核,并寻找更适合大规模强化学习的模型架构。
从头部模型的单点突破,走到头部领跑、黑马接力的梯队竞争,中国大模型如今正在形成一个更有厚度、也更能持续创新的产业生态。
而NaiveAI这次在海外实测中的表现,恰好给这一趋势添了一个鲜活的注脚——
头部格局虽然越来越明朗,但中国黑马仍在陆续进场。它们带着新技术、新思路,在成熟选手中间跑出了自己的位置。
参考链接:
[1]https://latent.space/p/naiveai/