这个访谈,回答了语言和多模态路线之争
大家都在迷雾中寻找下一代 AI 的方向。 作者: GaKi 编辑: Koji 排版: NCon对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研
👦🏻 作者: GaKi
🥷 编辑: Koji
🧑🎨 排版: NCon
对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。
Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研究和 AI Agent 研究,重点提升
Claude 在
Anthropic 官网主视觉图
11 月 13 日,OpenAI 又调整了机器人团队,将相关研究人员并入核心研究部门。虽然 OpenAI 随后澄清,机器人研发仍在继续,但这次调整也反映出,它正在探索让通用模型直接承担更多机器人任务。
另一边,Google DeepMind 一直在推进
大家都想让 AI 变得更智能,但对下一步应该把资源投在哪里,判断却并不完全一样,甚至可以说大相径庭。
国内的 AI 公司也在探索不同的技术路线。大家都在思考如何将语言、视觉、视频等能力结合起来,以及
最近,商汤科技联合创始人、首席科学家林达华在一次对外分享中,也详细谈到了他对语言、
我们整理了林达华发言中最值得关注的 6 个判断,分享给大家。
这六个观点,既解释了商汤为什么选择这条路线,也回应了当下 AI 行业的一些核心争议。
这一点是整场「语言与多模态之争」的起点。
林达华认为,语言模型之所以进展更快,主要是因为已经积累了多年的工程经验。数据怎么配比、模型怎么训练、效果怎么评估,都有比较成熟的方法可以参考。
相比之下,原生多模态还有很多问题需要解决。
要让一个模型同时理解和生成文字、图像、视频、音频等不同模态,训练起来更难,成本也更高。
但林达华认为,多模态的上限很高,目前还有很大的发展空间。
他以 GPT-6 对
GPT-6 Astra 控制机器人手绘金门大桥
但眼下还有一个关键问题:
林达华认为,多模态本身不会让模型变笨,只是目前还没有找到足够好的训练方法,需要更多时间和投入。
这也解释了为什么现阶段的多模态模型,在一些任务上仍然不如纯语言模型。
这是商汤多模态路线最核心的理由。
林达华还提到了学术界另一种观点:
林达华对此有不同的看法。
他认为语言是信息密度最高的模态。
人类在发展语言的过程中,逐渐把大量知识和经验整理成可以表达、传递和积累的信息。今天的语言模型能够快速发展,也与这些积累有关。
但语言同样有自己的局限。
林达华举了一个很有意思的例子:
原因很简单:一个人的五官、神态和面部特征,有大量细节很难用文字准确描述。即使写上 2000 字,也很难让另一个模型还原出同一张脸。
生活中也是如此,想认识一个人,看一眼照片,往往就比读几千字的外貌描述更直接。
这说明语言虽然能高效传递知识,但很多视觉信息很难完整地转成文字。
基于这一判断,商汤提出了「频谱」的概念,尝试解释不同模态在信息表达上的差异。
《The Prism Hypothesis》Arxiv 论文:图像和文本被分解到统一的频谱上。(林达华为作者之一,商汤研究院与南洋理工大学合作)
语言更擅长表达经过整理和压缩的知识,图像则保留了大量难以用语言描述的细节,两者各有优势。
再比如,写程序、做逻辑推理,语言通常更高效;理解空间结构、识别人物、判断视觉细节,图像则更直接。
林达华认为,真正完整的智能,需要同时利用语言和视觉的优势,让模型既能理解抽象知识,也能感知那些难以用语言表达的信息。
林达华团队先测试了 GPT、Gemini 等模型做不好的任务,再进一步判断,这些问题能不能靠增加数据来解决。如果加数据就能解决,更多体现的是应用价值,很难支撑原理上的创新。
他们还在 「——也就是加入更多相关数据后,模型反而更容易出错,因为它越来越依赖语义来理解画面。
比如,人从不同角度看同一个物体,会自然理解它的外观变化;离得越远,看到的物体就越小。
但当时的多模态模型,包括表现最好的 Gemini,对尺度和视角都缺乏理解,更多是记住了图像和文字之间的对应关系。
另一个例子更直观一点:
林达华也提到,最新的模型可能已经解决了这个问题。但这个现象暴露出一个更深层的问题 —— 模型过度依赖把视觉信息转成语义,再根据语义进行推理。
因此,给 LLM 加上视觉输入,并不意味着模型真正理解了视觉世界。
SenseNova-SI 论文,此前的开源 SOTA 模型在不给图像时仍得 50.7 分,与有图时几乎相同,说明它依赖语言先验,没有真正做视觉推理
这也是商汤将
行业里有一种观点认为,多模态生成本身并不能提升模型的智能水平。
不过林达华判断模型单纯提升生成能力,更多改善的是画面质量(
这未必能让模型更擅长解数学题,却能让它具备更完整的智能。
因此,商汤对多模态的探索,重点是将理解和生成统一起来,让空间感知也参与模型的推理过程。
商汤 NEO-unify 架构图:原生视觉语言模型直接处理像素和文字
这也是林达华看好多模态的原因。
他认为,过去三年,AI 在不同领域的发展并不均衡。语言模型在数学、编程等任务上已经超过顶尖人类,但机器人甚至还无法独立完成访谈现场的拍摄设备设置。
从数字世界进入真实的物理空间,AI 还有很多能力需要补齐。
当然,语言以外的模态究竟能给智能带来什么,它们与语言各自负责什么,目前还没有明确答案。
林达华也坦言,这正是他的团队目前最关心、也在持续研究的问题。
跟着主流做优化见效快,但大家都在做同一件事,会失去长期价值。林达华借这一点解释,商汤为什么没有把全部资源投在主流路径上,选择了多模态这条非主流的路线。
林达华认为,开源加快了技术传播。一旦知道某条技术路线可行,中国团队通常很快就能找到具体的实现方法。
比如
DeepSeek-R1-Zero 在强化学习训练中 AIME 准确率持续上升
因为很多技术的底层原理是相通的,业内对大致方案也有猜测。只要确定了方向,剩下的就是通过实验补齐细节,省去了逐一尝试大量方案的过程。
林达华把这种做法称为「拼手速」。
不过,他对此也有另一个角度的看法。
美国发布一项新技术,国内两三个月内就可能出现一批采用类似方案的产品,大家都想尽快抢占生态位。
如果只有一家公司这么做,或许能建立优势。但现实中,往往有十家公司同时在做类似的事。
当大家都在做同一件事,就很难形成长期的竞争优势。
在林达华看来,公司的长期竞争力来自「。真正困难的是当自己选择的方向没有那么热门,也不属于主流路线时,能不能坚持做下去。
只有在一个方向上持续投入,积累足够深的技术和经验,才能让后来者难以追赶。当然,他也认同,沿着主流路线做优化和微创新,同样有很大的产业和技术价值。
但如果中国想在 AI 领域做出更长期的贡献,就需要有自己的技术判断,做出一些真正不一样的东西。
「笃定多模态」这个判断,就来自于这个逻辑。
林达华特别提到,商汤至今仍将 20% 的资源投入到没有直接产品出口的预研和前瞻研究中。
无论经营压力有多大,商汤都会保留一部分资源,投入那些从
这些研究短期内不会直接带来收入,也没有明确的产品计划。前面提到的空间智能「
林达华也承认,商汤的资源规模与 。
OpenAI GPT-6 Astra 发布页主视觉
但在他看来,GPT-6 的进展证明了这条技术路线的价值,商汤过去一两年的研究积累,也有机会让团队做出不同于其他公司的成果。
除了技术研究,商汤在团队组织上也提前做了调整。
近期有报道称,腾讯、阿里等公司开始合并语言和多模态团队。而商汤早在 2024 年中就完成了类似调整。
当时,商汤就开始让同一个模型同时处理语言和多模态任务。
后来推进
从提前调整团队,到持续投入前沿研究,背后其实是商汤对多模态发展方向的长期判断。
但这个方向最终能走多远,目前还没有人知道,大家都在迷雾里找路。
为什么说是迷雾?
因为直到今天,AI 行业仍然没有弄清楚,通往更高水平智能的下一步,究竟应该怎么走、往哪里走、哪段路要走的快点、哪段路要走的谨慎点。
语言模型还在快速进步,
这些能力到底应该怎样结合?多模态究竟能给智能带来多大的提升?目前没有人能给出确定的答案。
上面的六个判断,也并不是要证明商汤已经找到了正确答案。
承认语言模型的优势,也不否认多模态面临的技术难题。商汤坚定选择多模态通用智能的路线,是因为他们相信,语言之外还有大量值得研究的问题,而这些问题可能决定下一阶段智能的发展。
六个判断,未必指向唯一正确的方向。
但对于仍在寻找下一步的中国 AI 行业来说,除了沿着别人已经走通的路继续前进,也需要有人愿意探索那些还没有答案的问题。