姚顺雨清华演讲:AI最稀缺的是Trust和Taste,小模型体系值得关注

资讯 腾讯网 作者:AI先锋官官方 全文 3350 字 · 约 9 分钟读完 分类腾讯大模型算力

腾讯 AI 负责人姚顺雨昨天在清华做了一次分享,博主@幻觉工程师 根据搞到的分享材料,整理成了笔记如下:1. 未来一个值得关注的方向是小模型体系。AI for AI会显著推动小模型发展,因为训练小模型需要的算力更少,可以进行更多实验。未来可能先训练一个能力足够强的大模型,再通过蒸馏得到不同尺寸、分别适配不同任务的模型.

所属频道 大厂动态模型发布算力与芯片
腾讯 AI 负责人姚顺雨昨天在清华大学做了一场分享,博主@幻觉工程师 拿到分享材料后整理成了笔记。


笔记提到的第一个方向是小模型体系。

关于 AI for AI,他判断未来的路子可能是先练出一个能力够强的大模型,再靠蒸馏做出不同尺寸、各自适配不同任务的模型,最后形成 Model Hierarchy。模型值不值钱,越来越看它能不能以合适的成本对上具体任务。

另一个值得看的是工业领域里大量非文本数据,比如时间序列、临床数据和结构化表格。姚顺雨说,现在直接拿这些模态训练原生模型,推理能力不足是常碰到的问题。

他给出两条可能的解法:一是让(原文此处未完整)。

3. 这个方向正在成为热门概念,但姚顺雨觉得它的本质很朴素——用 AI 把研发循环跑得更好。早在 2019 年,人们就用 GitHub 等工具辅助开发了,真正的进步来自不停修 Bug、洗数据、跑实验和 Debug。

他特别强调,技术进步来自那些把具体问题解决掉的人,而不是不停造新概念的人。这也意味着 AI 研发自动化里有大量具体的工程机会,尤其是能让模型参与下一轮数据生产、实验验证和代码改进的闭环系统。

4. 还有一个容易被人忽略的研究问题:小规模实验失败,未必说明研究方向本身没价值。姚顺雨讲过自己的经历,博士后期他曾尝试将

在他看来,算力不够时,实验里的噪声很容易盖住真正的信号,研究者甚至可能因此判错什么问题值得做。大模型研究既要靠理论推导,也要用小规模实验去预测大规模实验的结果,同时得弄明白哪些结论能跨模型规模迁移。

5. 预训练数据的竞争远没结束,未来的数据工程还包括怎么重复利用高质量数据、又不让模型简单地记住数据。

姚顺雨提到,代码这类高质量数据获取成本很高,训练时可能得重复使用,但重复次数一多又会带来记忆和过拟合问题;合成数据也有质量退化的风险。此外还要研究动态数据怎么构建,以及不同数据之间怎么配比。

他专门提到,预训练里的不少配方可以拿小模型先试,但小模型得出的结论不一定就能直接搬到大模型上,预训练研发难就难在这里。6. 后训练的数据得同时解决模型的智力与实用性问题。

姚顺雨把数据难度与一个模型数学可能很强,却干不好真实用户交办的工作。所以后训练要兼顾任务难度、实际用途和数据质量,还得研究评测指标与最终后训练效果之间的相关性。7. 强化学习的工程瓶颈远不止算法本身,RL训练首先要保证正确性,其次是稳定性,最后才是效率。


以

他同样提到,大模型实验花费不低,得靠数学直觉、小规模实验和超参数研究,尽量把大规模实验的成功率提上去。8. AI安全领域需要区分。

前者看的是模型自身行为有没有偏离预期,后者看的是外部攻击者怎么利用模型发动攻击。

在姚顺雨看来,网络安全能力还应拆成漏洞发现和漏洞利用两块,系统里有漏洞,不代表就能拿它完成攻击。训练模型时可以有意识加强防御性数据和防御能力。模型发布前他们还会做专门的安全评测,并跟外部安全研究团队合作。9. 他分享过一次很有意思的

显然,当Agent。未来的 10. 对开源安全,姚顺雨有一个比较明确的判断:负责任的开源能增强安全能力,防守一方同样需要足够强的工具。

他举例说,有人想用模型帮忙做安全防御,结果被闭源模型的安全规则拦下,最后改用开源模型把活干完。

所以,模型开源要配上训练阶段的防御能力建设和发布前的安全评测,不能简单把开源和安全风险画等号。11. 很多

姚顺雨拿教育打比方:一个孩子只有数学考100分才拿得到奖励,他自然会把全部精力扑在数学上,甚至可能在别的方面出问题;模型也会照着训练数据和奖励规则去优化自己的行为,最终表现可能和设计者真正想要的目标对不上。

在他看来,这类对齐问题属于工程范畴,靠数据、奖励函数和评测机制持续打磨就能往前推,机器也能帮人把这项工作做下去。12. 自动化会继续往深里走,但人要重新找准自己在系统里的位置——把合适的人放到合适的环节,用对的方式去监督AI。

他甚至判断,未来一些 13. 模型能力往上走往往是连续渐变的过程,可商业上的爆发通常不是能力曲线本身带来的,而是交互方式变了,或者某件以前做不成的事忽然能做了。

姚顺雨拿GPT的演进做例子:模型内部的能力或许一直在一点点长,研究人员每天都能看到细微的进步,普通用户却要等到ChatGPT出来那一刻,才突然察觉到变化。

对做产品创业的人来说,这里有两个可以盯的方向:一是找那种能改变用户交互体验的新产品,二是不断去试模型能力的边界,找出那些刚从不可用跨到可用的任务。14. 技术能力、用户价值和商业收入之间隔着很长的距离。一个模型的能力已经接近GPT,实际收入却只有对方的1/100甚至1/1000,那就该认真查查产品本身出了什么问题。

他还提到,商业定价在很大程度上看竞争关系,产品质量并不是唯一决定因素。所以模型公司的商业机会,取决于能不能解锁新的应用场景、造出足够大的用户价值,以及在竞争里拿到合理的市场份额。就算底层模型的算力和研发资源慢慢集中,围绕模型部署、产品创造和真实业务场景做整合,创业机会依然存在。15. 说到AI公司的组织模式,姚顺雨特别点出了自下而上的创新。

他举OpenAI为例:这家公司早期重点押注的方向里包括机器人,但GPT当初只是个小项目,价值慢慢显出来之后才拿到更多资源;后来的gpto1,也是从一个数学研究小组一步步长起来的。

这种组织方式的好处是,创新可以先从小团队和具体实验里冒出来,再按实际结果决定投不投入。

他的看法是,很多重要创新起步时并没有清晰的商业规划,组织得给探索性项目留出成长的空间。16. 对大模型公司追着量化指标跑的现象,他提出了批评:团队负责人如果对技术不够了解,下属就容易挑好量化的东西往上报,比如模型参数、数据量和

他认为,做大模型最要紧的是知道该做什么,并且坚持把对的事做好,哪怕这件事短期内在指标上不好看。17. 姚顺雨还谈到一种挺有意思的组织文化差异:有的团队围着量化指标和赛马机制转,谁分数高谁拿更多资源;而他更看重。

他拿微信、游戏和影视项目举例,这些产品在上线之前,很难靠AB Test准确预判最终成败,管理者得相信团队的审美、经验和长期判断,愿意持续投入时间。18. 在选人上,姚顺雨认为学习能力比已有经验更重要。

他提到,自己看重的团队成员通常具备

大模型研发涉及算法、

在姚顺雨看来,一个人学东西快不快、能不能跟不同领域的人配合好、愿不愿意把细活做扎实,这些常常比简历上写着会几门技术更关键。19. 他还提到,性格不一样的人,在大模型产业里其实适合的岗位也不一样。

那些偏爱清晰指标、享受一步步变强的人,或许更对预训练和

AI产业要的能力结构本来就杂,没必要让所有人都挤在同一条技术赛道上。20. 说到个人怎么选职业,姚顺雨抛出一个挺实在的问题:要么你跳进大模型这波浪里,成为这台机器的一颗螺丝;要么去找那些能跟大模型互补的事做。

他借来一个看创业方向的标准:假如GPT6发布了,你的公司是会睡得更踏实,还是更睡不着?要是模型的进步会直接把你的核心业务掀翻,那方向就得重新想想。跟模型硬碰硬、在人类已经不占优的认知任务上较劲,成本只会越来越高;物理世界、硬件、真实实验、对人和人性的理解这些地方,反倒可能攒下不一样的资源门槛。21. 姚顺雨还讲了自己在清华念书时的一段经历。

他到大三下才动手做科研,一开始也是被推研的要求推着走,中途试过几个当时挺热的方向,结果发现自己并不真感兴趣。

后来他更愿意顺着自己对计算机、对其他领域的兴趣走。他提到身边有人玩过说唱社、学过数学,那些当时看着不搭界的经历,后来可能变成语言上的审美、理论上的理解力,甚至研究中的判断力。在他看来,很多经历值多少钱要过很久才看得出来,人生里绕的弯未必就是白绕。22. 他还说起读博最后一年专门去选了集合论,因为那会儿意识到,一旦真正上了具体工作,再想腾出时间系统学那些纯粹出于兴趣的理论,恐怕就难了。

他觉得数学里的基本结构和大模型的各个组成部分之间,有不少值得琢磨的对应关系。有些知识学的时候看不出什么直接用处,但说不定哪天就跟别的经历接上了。
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 版权、流量与AI:在线音乐平台迎来新战事

    作者 | 刘艺晨 音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。存

    来源 腾讯网
  2. 腾讯高管:预计 2028 年 AI 投入产出效率改善,得益于基础设施复用、硬件降价与算力效率提升

    IT之家 11 月 18 日消息,据科创板日报报道,腾讯高管在业绩会上表示,公司当前的资本开支主要用于 AI 基础设施建设,这类投入并非一次性消耗,而是能够形成可持续使用的基础设施,既可用于新一代模型训练,也能持续支撑 Token 生成。随着 2026 年、2027 年建设的基础设施在后续年份持续发挥作用,预计到 20

    来源 AI 行业观察
  3. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  4. Anthropic纳斯达克上市:1.5万亿美元估值背后,大模型正发生六个变化

    王强 腾讯研究院前沿科技研究中心主任今天晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会

    来源 腾讯网
  5. 腾讯WorkBuddy日活破1000万:日均Token超100万亿,企业500强渗透过半

    腾讯2026年第三季度财报披露,AI助手WorkBuddy截至11月初日活突破1000万,日均Token调用量超100万亿,成为中国大语言模型日均Token用量最高的AI产品。自今年3月发布以来,它已完成100多个大版本更新,迭代迅速;C端火热同时,B端也在拓展,开放平台上线仅两个月,Buddy应用已取得进展。

    来源 AI 产业速递
  6. 腾讯Q3业绩会实录:WorkBuddy已成中国几乎所有开放权重模型的最大客户

    11月18日,腾讯控股公布截至二零二六年九月三十日止第三季(“3Q2026”)未经审核综合业绩。 本季度腾讯总收入为人民币2073亿元,同比增长8%;毛利为人民币1159亿元,同比增长7%;按非国际财务报告准则的经营盈利为人民币681亿元,同比下降6%。若剔除新AI产品贡献,经营盈利为人民币833亿元,同比增长8%;若

    来源 腾讯网
  7. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  8. AI研究员给了一个GPU,十小时,还有一整套训练工具,接下来会发生什么?

    研究团队做了个实验,让一个AI智能体接管整个大语言模型的训练后调优流程。给它一台H100显卡,不限制的网络访问权限,还有十个小时的时间预算。然后,就看着它自己去折腾。结果让人意外。这个智能体在面对完整的工具箱时,没有像人类专家那样东做做西试试,反而迅速收窄到了一种操作上。整整三十三轮实验里,它反复做的事情...

    来源 腾讯网
  9. 腾讯Q3收入2073.36亿元:AI闭环押注下一个WorkBuddy

    2026年Q3,腾讯实现收入2073.36亿元,同比增长8%;非国际财务报告准则下,公司权益持有人应占盈利665.19亿元,同比下降6%;游戏、广告、金融科技及企业服务三条主线上仍在稳步增长。

    来源 36氪
  10. 安谋科技“星辰”落子,端侧AI不用再死磕算力了?

    【环球网科技报道 记者 李文瑶】11月18日,安谋科技(中国)有限公司(以下简称“安谋科技”)正式对外解析Arm Cortex-M42 CPU,并发布基于该产品的“星辰100e”AIoT原型平台。随着AI算力加速向物理世界下沉,Arm的全球核心战略正从单一的IP授权向“全面计算与异构协同”升级。产品布局:精准卡位,打造

    来源 腾讯网
  11. 国产大模型的算力阵痛期

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。 无独有偶,就在20天前的10

    来源 AI 行业观察
  12. 腾讯的AI闭环,在下一个WorkBuddy

    11月18日,腾讯发了新一季财报。 2026年Q3,腾讯实现收入2073.36亿元,同比增长8%;非国际财务报告准则下,公司权益持有人应占盈利665.19亿元,同比下降6%;游戏、广告、金融科技及企业服务三条主线上仍在稳步增长。 大本营依然稳固,腾讯却陷入了前所未有的手足无措。 今年5月腾讯股东大会上,谈及腾讯AI是否

    来源 AI 行业观察
  13. Osmo训练气味基础模型:30名闻香师为AI补上嗅觉

    在新泽西州纽瓦克机场附近的一间实验室里,约30名经验丰富的人类嗅辨员正逐一品鉴地球上的各种气味。他们记录的“坚果味”“桃子味”“海洋味”等笔记,会与化学分析结果交叉比对,为AI初创公司Osmo打造其号称全球首个“气味基础模型”提供训练数据。这家公司希望让机器学会“闻”,把嗅觉这一最难数字化的感官真正带入AI时

    来源 AI 科技快讯
  14. 腾讯Q3营收2073.36亿:AI基建投入加码,国产芯片转向提速

    据《科创板日报》报道,谈及最新收紧限制的影响,腾讯高管表示,从长期看,相关限制可能推动更多中国企业转向国内供应链和国产芯片,带动国内供应链建设提速,相关研发力量也将进一步向这一领域集中。#腾讯# #人工智能# #国产芯片#

    来源 IT之家
  15. 海外AI巨头舆情波动,公司如何看待相关风险?工业富联回应

    有投资者向工业富联(601138.SH)提问,最近海外AI巨头出现股价回调和舆情波动,有些影响市场情绪。公司作为供应链核心企业,怎么看待相关风险?11月19日,公司回答表示,公司生产经营一切正常。短期二级市场的情绪波动,并未改变全球AI算力基础设施长期投入的底层逻辑。其中,特别是ASIC路线正迎来需求倍增的行业爆发期。

    来源 腾讯网
  16. 会用AI的人,更容易找到工作?

    AI已经广泛融入游戏开发的多个环节。这个趋势也影响了厂商对人才的需求。一份腾讯IEG2026年的实习生招聘材料里显示,游戏AI相关岗位的需求明显提升,部分岗位开设了AI面试或AI Coding考察。 这一趋势在世界范围内也是共通的。GDC在2026年11月发布的统计中显示,40%的受访游戏从业者会在工作中使用生成式AI

    来源 AI 行业观察
  17. 纳格尔获2026伯格鲁恩哲学奖:AI意识论“荒谬可笑”

    著名哲学家托马斯·纳格尔因在非人类意识领域的里程碑研究,荣获2026年伯格鲁恩哲学奖(奖金100万美元)。他在接受WIRED采访时,对当前AI意识热论泼冷水,直言将大语言模型视为有意识存在“简直荒谬”。本文梳理纳格尔的意识哲学观点,分析AI意识争论的背景与误区。

    来源 AI 科技快讯
  18. 李彦宏APEC讲话:AI要避免泡沫,最紧迫是找到应用场景

    “如果不解决这个问题,AI可能变成一个泡沫。”11月17日,在2026年APEC工商领导人峰会期间,百度集团创始人、董事长兼首席执行官李彦宏做出上述判断。李彦宏以“最紧迫”作为2026年AI发展的关键词。他指出,过去三年多,AI技术迭代极快,各方面投入成倍增长,算力与云资源价格、Token消耗都在快速上升,但AI在应用

    来源 腾讯网
  19. 奥尼电子转向AI推理算力:开放硬件适配能解决什么?

    “这个有什么用?怎么用起来?” 一家有超20年制造经验的企业,进入AI推理算力市场后,被客户的这个问题问住了。 这两年,AI算力市场热闹得很。有人建设算力集群,有人销售服务器,也有人提供算力服务。可到了实际使用环节,一些企业却发现,设备买回来了,应用没找到,业务也接不进去。 IDC与中国信通院2026年的联合调研显示,

    来源 AI 行业观察
  20. 一年卖了5000万,第一批明星AI产品还是下线了

    2026年11月,字节扣子企业版停止接受新客户,腾讯元器于11月9日停服。按IDC统计,2025年中国智能体开发平台公有云市场约2.5亿元,扣子以19.3%排第一、测算约4800万元。文章认为独立AI工具市场太小,正被收回主干。

    来源 凤凰科技
  21. 腾讯元宝投入削减:小微日活3000万,AI策略生变?

    腾讯控股于11月18日披露了2026年第三季度业绩报告。据 IT 之家及长安街知事等媒体报道,腾讯当季营收达到2073.36亿元,同比增长8%;非国际财务报告准则(Non-IFRS)经营盈利为680.73亿元,同比下降6%。不过,若剔除新 AI 产品的贡献,同口径经营盈利为833亿元,同比增长8%。

    来源 AI 开发者社区
  22. Anthropic冲击IPO:AI循环融资模式迎来首次公开定价

    Anthropic走向公开市场,意味着它必须背负巨额算力承诺接受投资者审视。这家明星公司的上市,不只关乎自身成败,更被视为检验AI行业“循环融资”模式成色的关键一役——即便Anthropic失去领先,亚马逊、谷歌等基础设施伙伴仍可能继续从AI浪潮中获利。

    来源 AI 行业观察
  23. 苹果拟签三星DRAM长约:AI算力推高内存成本,四年协议锁定产能

    报道称,受AI算力基建需求激增引发芯片供应紧张影响,苹果拟与三星电子达成罕见的四至五年期DRAM内存供应协议,2027年上半年生效,延续至2031或2032年,以锁定最低采购量,保障未来iPhone、MacBook等产能。此前苹果靠大订单和短期续约压价,但2026年初AI服务器扩建致存储供需失衡,该模式失效。

    来源 AI 产业速递
向下滚动自动加载更多