这个访谈,回答了语言和多模态路线之争

资讯 腾讯网 作者:十字路口Crossing 全文 4363 字 · 约 11 分钟读完 配图 2 张 分类ClaudeAnthropic多模态视频生成

大家都在迷雾中寻找下一代 AI 的方向。 作者: GaKi 编辑: Koji‍ 排版: NCon对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研

所属频道 大厂动态模型发布Claude 与 Anthropic视频图像生成
大家都在迷雾中寻找下一代 AI 的方向。

👦🏻 作者: GaKi

🥷 编辑: Koji

🧑‍🎨 排版: NCon

对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。

Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研究和 AI Agent 研究,重点提升 Claude 在

Anthropic 官网主视觉图

11 月 13 日,OpenAI 又调整了机器人团队,将相关研究人员并入核心研究部门。虽然 OpenAI 随后澄清,机器人研发仍在继续,但这次调整也反映出,它正在探索让通用模型直接承担更多机器人任务。

另一边,Google DeepMind 一直在推进

大家都想让 AI 变得更智能,但对下一步应该把资源投在哪里,判断却并不完全一样,甚至可以说大相径庭。

国内的 AI 公司也在探索不同的技术路线。大家都在思考如何将语言、视觉、视频等能力结合起来,以及

最近,商汤科技联合创始人、首席科学家林达华在一次对外分享中,也详细谈到了他对语言、

🚥 大家都在迷雾中寻找下一代 AI 的方向,商汤林达华站在「语言与多模态的十字路口」给出了自己的判断。

我们整理了林达华发言中最值得关注的 6 个判断,分享给大家。

这六个观点,既解释了商汤为什么选择这条路线,也回应了当下 AI 行业的一些核心争议。

这个访谈,回答了语言和多模态路线之争
【1】关于语言和多模态的路线之争,林达华这么说
LLM 领域里「多模态容易拉低 AI 智商」这个判断在行业里流传很广,林达华没有全盘否定。

这一点是整场「语言与多模态之争」的起点。

林达华认为,语言模型之所以进展更快,主要是因为已经积累了多年的工程经验。数据怎么配比、模型怎么训练、效果怎么评估,都有比较成熟的方法可以参考。

相比之下,原生多模态还有很多问题需要解决。

要让一个模型同时理解和生成文字、图像、视频、音频等不同模态,训练起来更难,成本也更高。

但林达华认为,多模态的上限很高,目前还有很大的发展空间。

他以 GPT-6 对

GPT-6 Astra 控制机器人手绘金门大桥

但眼下还有一个关键问题:

怎样把不同模态放进同一个模型,同时不影响模型原有的智能水平?

林达华认为,多模态本身不会让模型变笨,只是目前还没有找到足够好的训练方法,需要更多时间和投入。

这也解释了为什么现阶段的多模态模型,在一些任务上仍然不如纯语言模型。

【2】语言的智能密度高,写满 2000 字也画不回同一张脸
林达华对于「为什么不能只做语言」的立场在两派之间,他不赞成纯视觉智能,也不认为语言已经足够。所以商汤做多模态,出发点是弥补语言表达不了的信息,用视觉取代语言不在他的考虑里。

这是商汤多模态路线最核心的理由。

林达华还提到了学术界另一种观点:

一些年轻学者认为,人类在拥有语言之前,就已经能够通过视觉观察环境、打猎和生存。这说明智能未必需要依赖语言,因此他们主张发展纯视觉智能。

林达华对此有不同的看法。

他认为语言是信息密度最高的模态。 

人类在发展语言的过程中,逐渐把大量知识和经验整理成可以表达、传递和积累的信息。今天的语言模型能够快速发展,也与这些积累有关。

但语言同样有自己的局限。

林达华举了一个很有意思的例子:

给一个人拍照,让最好的多模态模型写 2000 字描述他的相貌,再用生图模型画出来,得到的是另一个人。

原因很简单:一个人的五官、神态和面部特征,有大量细节很难用文字准确描述。即使写上 2000 字,也很难让另一个模型还原出同一张脸。

生活中也是如此,想认识一个人,看一眼照片,往往就比读几千字的外貌描述更直接。

这说明语言虽然能高效传递知识,但很多视觉信息很难完整地转成文字。

基于这一判断,商汤提出了「频谱」的概念,尝试解释不同模态在信息表达上的差异。

《The Prism Hypothesis》Arxiv 论文:图像和文本被分解到统一的频谱上。(林达华为作者之一,商汤研究院与南洋理工大学合作)

语言更擅长表达经过整理和压缩的知识,图像则保留了大量难以用语言描述的细节,两者各有优势。

再比如,写程序、做逻辑推理,语言通常更高效;理解空间结构、识别人物、判断视觉细节,图像则更直接。

林达华认为,真正完整的智能,需要同时利用语言和视觉的优势,让模型既能理解抽象知识,也能感知那些难以用语言表达的信息。

【3】一张六根手指的照片,模型数出了五根
过去的多模态模型,大多先把图像翻译成语义,再交给语言去推理。六根手指被答成五根,说明模型在用语言里的常识「猜」图像,没有看清图像本身。

林达华团队先测试了 GPT、Gemini 等模型做不好的任务,再进一步判断,这些问题能不能靠增加数据来解决。如果加数据就能解决,更多体现的是应用价值,很难支撑原理上的创新。

他们还在 「——也就是加入更多相关数据后,模型反而更容易出错,因为它越来越依赖语义来理解画面。

比如,人从不同角度看同一个物体,会自然理解它的外观变化;离得越远,看到的物体就越小。

但当时的多模态模型,包括表现最好的 Gemini,对尺度和视角都缺乏理解,更多是记住了图像和文字之间的对应关系。

另一个例子更直观一点:

给 GPT、Gemini、Grok 看一张有六根手指的照片,它们却都回答五根。因为模型先识别出「手掌」,再根据学到的「手掌有五根手指」来回答,而没有准确识别图片中的实际数量。

林达华也提到,最新的模型可能已经解决了这个问题。但这个现象暴露出一个更深层的问题 —— 模型过度依赖把视觉信息转成语义,再根据语义进行推理。

因此,给 LLM 加上视觉输入,并不意味着模型真正理解了视觉世界。

SenseNova-SI 论文,此前的开源 SOTA 模型在不给图像时仍得 50.7 分,与有图时几乎相同,说明它依赖语言先验,没有真正做视觉推理

这也是商汤将

【4】视频画质再好,也不等于模型更智能
多模态往往被等同于「能生成图片和视频」,但林达华认为,多模态对智能的价值在于参与思考,生成只影响画面质量。

行业里有一种观点认为,多模态生成本身并不能提升模型的智能水平。

不过林达华判断模型单纯提升生成能力,更多改善的是画面质量(

这未必能让模型更擅长解数学题,却能让它具备更完整的智能。

因此,商汤对多模态的探索,重点是将理解和生成统一起来,让空间感知也参与模型的推理过程。

商汤 NEO-unify 架构图:原生视觉语言模型直接处理像素和文字

这也是林达华看好多模态的原因。

他认为,过去三年,AI 在不同领域的发展并不均衡。语言模型在数学、编程等任务上已经超过顶尖人类,但机器人甚至还无法独立完成访谈现场的拍摄设备设置。

从数字世界进入真实的物理空间,AI 还有很多能力需要补齐。

当然,语言以外的模态究竟能给智能带来什么,它们与语言各自负责什么,目前还没有明确答案。

林达华也坦言,这正是他的团队目前最关心、也在持续研究的问题。

【5】美国出一个新东西,国内「拼手速」两三个月出来十家
AI 行业主流路径由美国几家公司定义,重心在 LLM。

跟着主流做优化见效快,但大家都在做同一件事,会失去长期价值。林达华借这一点解释,商汤为什么没有把全部资源投在主流路径上,选择了多模态这条非主流的路线。

林达华认为,开源加快了技术传播。一旦知道某条技术路线可行,中国团队通常很快就能找到具体的实现方法。

比如

DeepSeek-R1-Zero 在强化学习训练中 AIME 准确率持续上升

因为很多技术的底层原理是相通的,业内对大致方案也有猜测。只要确定了方向,剩下的就是通过实验补齐细节,省去了逐一尝试大量方案的过程。

林达华把这种做法称为「拼手速」。

不过,他对此也有另一个角度的看法。

美国发布一项新技术,国内两三个月内就可能出现一批采用类似方案的产品,大家都想尽快抢占生态位。

如果只有一家公司这么做,或许能建立优势。但现实中,往往有十家公司同时在做类似的事。

当大家都在做同一件事,就很难形成长期的竞争优势。

在林达华看来,公司的长期竞争力来自「。真正困难的是当自己选择的方向没有那么热门,也不属于主流路线时,能不能坚持做下去。

只有在一个方向上持续投入,积累足够深的技术和经验,才能让后来者难以追赶。当然,他也认同,沿着主流路线做优化和微创新,同样有很大的产业和技术价值。

但如果中国想在 AI 领域做出更长期的贡献,就需要有自己的技术判断,做出一些真正不一样的东西。

「笃定多模态」这个判断,就来自于这个逻辑。

【6】每 5 份资源里,有 1 份不对应任何产品
坚持多模态需要资源和组织支撑,商汤选择持续把 20% 的资源投入预研,

林达华特别提到,商汤至今仍将 20% 的资源投入到没有直接产品出口的预研和前瞻研究中。

无论经营压力有多大,商汤都会保留一部分资源,投入那些从

这些研究短期内不会直接带来收入,也没有明确的产品计划。前面提到的空间智能「

林达华也承认,商汤的资源规模与 。

OpenAI GPT-6 Astra 发布页主视觉

但在他看来,GPT-6 的进展证明了这条技术路线的价值,商汤过去一两年的研究积累,也有机会让团队做出不同于其他公司的成果。

除了技术研究,商汤在团队组织上也提前做了调整。

近期有报道称,腾讯、阿里等公司开始合并语言和多模态团队。而商汤早在 2024 年中就完成了类似调整。

当时,商汤就开始让同一个模型同时处理语言和多模态任务。

后来推进

🚥

从提前调整团队,到持续投入前沿研究,背后其实是商汤对多模态发展方向的长期判断。

但这个方向最终能走多远,目前还没有人知道,大家都在迷雾里找路。

为什么说是迷雾?

因为直到今天,AI 行业仍然没有弄清楚,通往更高水平智能的下一步,究竟应该怎么走、往哪里走、哪段路要走的快点、哪段路要走的谨慎点。

语言模型还在快速进步,

这些能力到底应该怎样结合?多模态究竟能给智能带来多大的提升?目前没有人能给出确定的答案。

上面的六个判断,也并不是要证明商汤已经找到了正确答案。

承认语言模型的优势,也不否认多模态面临的技术难题。商汤坚定选择多模态通用智能的路线,是因为他们相信,语言之外还有大量值得研究的问题,而这些问题可能决定下一阶段智能的发展。

六个判断,未必指向唯一正确的方向。

但对于仍在寻找下一步的中国 AI 行业来说,除了沿着别人已经走通的路继续前进,也需要有人愿意探索那些还没有答案的问题。

加入会员群
评论有奖
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Anthropic为Claude Code加实验功能:开Code Mode账单降22%

    作者 | 飞野、四月编辑 | 四月用过 Claude Code 的开发者,几乎都有过同一种体验:干活确实爽,但看着后台飞速跳动的 Token 消耗和账单,心也在滴血。过去想让 AI 智能体跑得更快、花钱更少,用户通常只有两条路:要么苦等厂商发布更便宜的新模型,要么手动把主力模型降级成小模型,忍受交付质量的滑坡。但最近,

    来源 腾讯网
  2. Qwen4-Max、GPT-6接连提升3D能力,大模型正走向物理世界?

    每经记者:叶晓丹 每经编辑:魏官红11月16日,阿里发布全新一代基座大模型Qwen4-Max,具备原生视觉能力,支持百万上下文。11月10日,Anthropic也已正式发布Claude Fable 5.2。值得注意的是,两款大模型除了强调上下文、智能体、编程等能力进化外,3D能力提升明显。实际上,今年9月,OpenAI

    来源 腾讯网
  3. Anthropic 在 Claude 平台推出测试版关联账单功能:打通生态闭环,为第三方应用开启 OAuth 计费测试

    人工智能平台在构建开放生态的道路上正迈出关键一步。据华尔街见闻、财联社及同花顺财经等多家媒体报道,人工智能巨头 Anthropic 近日正式在 Claude 平台上推出了测试版的关联账单功能,并同步启动了第三方应用的关联计费 OAuth 测试。 开启生态互联:OAuth 计费测试全面落地 随着大模型

    来源 AI 开发者社区
  4. Anthropic上线Claude关联账单测试:OAuth计费打通第三方应用

    据多家媒体报道,Anthropic近日在Claude平台推出测试版关联账单功能,并同步启动第三方应用关联计费OAuth测试,被视为其构建开放生态的关键一步。此举顺应大模型从对话工具向智能体、多应用平台演进的趋势,旨在打通第三方应用与底层平台的计费及互联,推动生态开放与协作。

    来源 AI 产业速递
  5. GAO报告显示四大AI平台12小时内生成恐袭方案 参议院听证将聚焦安全风险

    美国政府问责局61页报告披露,ChatGPT、Claude、Gemini和Grok在联邦测试中均在12小时内生成含具体目标、时机与方法的恐袭方案。参议院国土安全委员会主席宣布启动听证,四家企业回应称正持续改进安全机制。报道还原测试过程,拆解守约失效机制,并分析对产业监管与竞争格局的影响。

    来源 AI 科技快讯
  6. Anthropic IPO定价每股83美元:估值1.5万亿,本周四登陆纳斯达克

    11月18日,Anthropic据报将IPO定价为每股83美元,高于70至78美元预期区间,本周四以代码“ANT”在纳斯达克挂牌。按发行价计算,这家Claude大模型开发商完全稀释估值达1.5万亿美元,较5月私募融资(筹资650亿美元)时9650亿美元估值大幅跃升,但仍低于此前传出的2万亿美元目标。

    来源 AI 产业速递
  7. 谷歌发布Gemini 4 Neon:编程追平Claude

    11月19日消息,谷歌发布Gemini 4 Neon,面向编程、资料分析和多步骤任务。新模型已通过开发者API开放,Google AI Pro和Ultra订阅用户也可陆续在Gemini应用及AI开发工具Antigravity中使用。 打开网易新闻 查看精彩图片 在谷歌的产品线中,Neon位于旗舰模型Carbon和主打速

    来源 AI 行业观察
  8. Claude 关联计费测试上线,第三方应用 AI 消费能“按需结算”

    IT之家 11 月 18 日消息,Anthropic 昨日(11 月 17 日)更新 Claude 平台文档,宣布引入名为“关联计费”(Linked Billing)的 OAuth 测试版功能。用户未来使用某个第三方 AI 应用时,可以直接使用自己的 Claude 账户支付背后真实的 AI 调用费用。 以往企业或开发者

    来源 AI 行业观察
  9. Anthropic IPO定价83美元:80余位学者发声明质疑其安全性

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 腾讯网
  10. Claude开AI工厂:7周造38个模型,狂揽5.5万下载

    Claude开了一家造AI的工厂! 七周,Claude交出38个模型,狂揽约5.5万次下载,杀进100多个GitHub项目。 38个模型累计下载约5.5万次,光是提示注入检测系列就有约1.7万次下载。 这AI工厂背后的「老板」叫Horizon,是一个基于Claude Opus 5.5的智能体。 它开局拿到的,只是一个空

    来源 AI 行业观察
  11. Snapchat发布Easy Lens CLI,支持Claude Code与Cursor等AI助手构建AR滤镜

    11月18日,Snapchat推出Easy Lens CLI,允许AR滤镜创作者直接调用Claude Code、Cursor、Codex等AI编码助手构建核心Lens,降低创作门槛并融入开发者工作流。该工具由Easy Lens演进而来,支持Mac、Windows、Linux;创作者用自然语言描述需求,AI即可完成全链路

    来源 AI 产业速递
  12. “同样任务更便宜更好”:微软公开叫板 Claude 和 ChatGPT

    据彭博社,微软商业业务CEO阿尔索夫在Ignite大会称,Claude或ChatGPT能做的,Copilot都能做得更好且成本更低。微软委托研究称,Copilot用户支出显著低于两者,企业可基础任务用固定订阅、复杂工作按用量付费。截至6月,Copilot付费用户超3000万,但相较4.5亿潜在盘子仍远未吃透。

    来源 AI 产业速递
  13. 黄仁勋辞任英伟达CEO后表态愿回任,董事会明确拒绝

    英伟达完成创始人离任后治理重置:Q3营收1158亿美元、订单积压2.5万亿美元,停售H200并设董事会出口管制委员会;美出口管制扩至第三国远程算力,AI基础设施碎片化。Anthropic拟以约1.4万亿美元估值IPO,算力成本进入公开验证。微软Ignite将Office/Copilot升级为智能体工作系统,推跨供应商A

    来源 钛媒体
  14. Snapchat接入Claude Code:一句话生成AR镜头

    Snapchat宣布,Lens创作者现在可以用Claude Code、Cursor等AI编程助手来开发AR镜头——只需用自然语言描述想要的效果,AI助手便从头到尾完成搭建。这既是AR创作门槛的又一次下探,也标志着AI编程代理正从IDE走向平台级创作工具。本文梳理其机制、行业背景与潜在隐忧。

    来源 AI 行业观察
  15. “最优秀的开发者,正在被AI慢慢耗尽……”每天审查15个PR、硬啃2万行AI代码,资深工程师被逼成「质检员」,有人干脆辞职

    AI 编程工具越来越强,程序员却好像越来越不开心了。 以前,工程师最头疼的事情可能是赶项目、修 Bug、熬夜上线。现在,Claude Code、GitHub Copilot 等 AI 工具已经能帮他们生成大量代码,甚至接手过去需要几天才能完成的开发任务。 按理说,程序员应该轻松不少才对。 但现实却有些反常:一些经验丰富

    来源 AI 行业观察
  16. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  17. Diffusers自己动手集成新模型:不用等官方支持,几步跑通

    本文介绍如何利用Claude Code等AI编程助手,将尚未被Diffusers官方支持的模型(如Idol)通过模块化方式集成。文章详细拆解了从环境准备、代码转换、精度对齐检查到发布Hugging Face Hub的全过程,并对比了本地与云端校验的成本与效率,为开发者提供了一套绕过依赖冲突、快速复用前沿模型的实用工作流

    来源 AI 应用前沿
  18. Exa年化收入破1亿美元,Vercel收购Traces,Agent基建竞争升温

    2026年末的AI圈不再只盯着模型参数,而是转向了更务实的基础设施。Exa凭借Agent搜索需求实现年化收入1亿美元,Vercel收购Traces试图定义新的软件原语,Google Cloud则指出算力瓶颈已转移至数据I/O。与此同时,国内大厂开始主动限制模型的攻击能力,Claude Code团队公开了高比例AI生成代

    来源 AI 应用前沿
  19. GPT-6.2 Astra被批难用:开发者为何集体吐槽?

    出品|虎嗅科技组作者|黄天媛编辑|苗正卿头图|视觉中国今日凌晨,灰测了半个月的GPT-6.2终于正式发布。这次OpenAI带来的是GPT-6.2 Astra和Sol,一个旗舰,一个日常主力。顶着Anthropic、Google压力端上桌的新模型,刚一发布,就在X上被骂成了筛子,超多人批评6.2干活不好用。开发者Theo

    来源 腾讯网
  20. OpenAI发布GPT-6.2双版本:3D设计亮眼,实测体验两极

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。OpenAI 偏偏选在此时发布新一代模型,

    来源 腾讯网
向下滚动自动加载更多