上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

资讯 腾讯网 作者:机器之心 全文 2491 字 · 约 7 分钟读完 配图 1 张 分类SOTA开源智能体多模态

只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

所属频道 模型发布智能体与 Agent开源生态

一条指令丢过去,Agent 就能拿 12,487 张 CT 图像搭出一个三维骨骼模型?这是 Sage S2.1 Flash 展示的能力。





这份技术报告由上海人工智能实验室牵头,复旦大学、中国科学院软件研究所、中国人民大学、中国科学院自动化研究所、华东师范大学、哈尔滨工业大学、北京大学等多家科研机构与高校共同参与,于近日正式发布。报告把这一总参数量 320B 的模型从训练到落地的完整流程和技术细节都摊开了讲。读懂分子和光谱、连续调用工具、在专业软件里交出成品,过去分散的能力现在被塞进了同一个模型。



  • 论文:https://arxiv.org/abs/2611.21072

  • 项目主页:https://internlm.github.io/Sage-S2.1-Flash/

  • Hugging Face:https://huggingface.co/papers/2611.21072

  • Github :https://github.com/InternLM/Sage-S2.1-Flash


首周上线,反馈不错


上线第一周,Sage S2.1 Flash 在真实用户手里拿到了不少正面评价。多位体验者说它“快且聪明”,在多轮任务测试中工具调用跑得很顺;放到更接近实际开发的场景里,它也能把整套任务执行下来。到了“鹈鹕测试”环节,模型生成的画面同样得到体验者的一致认可。




Sage S2.1 Flash 走的是统一科学多模态架构这条路,目的是让模型自己去读懂科学数据。


Sage S2.1 Flash 的底座是 320B 混合专家(MoE)架构,靠


有了这个通用模型主干,科学数据理解、代码执行、复杂检索、专业软件操作就能共用同一套推理能力,后续再接入科学专用模态也有了架构上的落脚点。



科学数据怎么进通用语言模型?团队给出的答案是 Sage Sci-Perception——把结构化科学数据接进去。


分子、蛋白质、核酸、光谱这些对象,都由研究团队专门设计的 Sage Sci-Perception 科学多模态感知模块来处理,方案采用



规模化可验证环境,用来搭建智能体后训练体系。


训练环境覆盖工具调用、信息检索、软件工程、机器学习实验、网络安全、专业工作空间和视觉交互,全部可验证;科学多模态理解能力则另有一套独立的科学强化学习机制来优化,模型在复杂任务里的自主执行能力由此提升。


ToolSpace


工具调用训练用的是研究团队提出的 ToolSpace 框架。它从状态感知随机游走出发,由系统自动生成跨工具、跨环境的调用序列,再靠执行条件检查、失败回滚与重新采样保证序列能跑通。跑成功的轨迹会被转成自然语言任务,并针对最终状态、关键中间状态及输出字段生成验证程序,把可复现的训练数据筛出来。最终搭起的工具协作空间包含 2,042 种工具、77,760 个调用模式节点和 804 个环境;生成的监督微调轨迹平均有 18.86 次工具调用,最长 209 次,平均跨 2.29 个环境。



机器学习编程(ML Coding)


机器学习工程这块,团队搭了一条自动化训练流水线,从收集真实科研材料、合成任务,到执行实验并验证结果,全流程都交给系统跑。流水线里汇入了 4,936 条 Kaggle 数据来源、2,960 篇研究论文,还有 Hugging Face、GitHub 等平台的代码和数据资源;数据集与算法实现靠数据接口、训练入口和评测指标来匹配,环境是否可用则在固定依赖的容器里验证。


任务类型包括预测建模、算法实现、论文复现和模型后训练。算法类任务的做法是抽掉损失函数、特征变换或参数更新等核心代码,让模型自己补全;开放式实验则要智能体自行设计方案、跑完训练。所有任务最终由 Harbor 封装成可复现环境,任务指令、执行环境和私有评测程序彼此隔离,任务是否完成要看代码运行结果、预测指标和模型权重。


视觉智能体:从看懂界面到连续操作


科研工作不光要读懂专业数据,还得在大量图形界面软件里动手操作。团队因此采用分阶段训练策略,让模型在动态视觉环境中把任务执行能力练出来。


  • 第一阶段练的是图像识别和单步点击:模型要学会看懂界面元素、找到交互目标,再根据当前画面选出正确操作。

  • 第二阶段把能力延伸到复杂的连续操作任务。每一步,模型都要读取当前界面、判断任务进行到哪、执行动作,再依据新截图决定下一步。训练任务通过拉长操作序列、加强步骤之间的依赖,抬高模型跟踪环境状态和规划长流程的门槛。



团队还构建了多样化的可验证训练环境,覆盖信息检索、软件工程、网络安全和生产力工具等方向,涉及多跳检索、代码开发、漏洞分析,以及 PPT、Excel、法律文档和三维工程设计等复杂任务。各方向围绕真实数据和专业任务需求,建立了从数据收集、任务合成、环境构建到结果验证的完整流程,并按领域特点设计评测机制,把事实与证据核验、程序执行、环境状态检查和最终交付物验证都纳入训练过程。


33 项基准评测

检验复杂任务执行能力


评测覆盖智能体编程、办公生产力、工具使用、机器学习工程、深度研究、信息检索和视觉交互七大领域,共 33 项基准。


四项第一:机器学习工程任务


四个第二:



这套系统瞄准的是真实科研场景里的软件操作。

团队也尝试让模型把科学任务从头到尾跑完。


研究团队还演示了Sage S2.1 Flash在三维工程设计、科学数据分析以及科研文献研究中的表现。工程建模环节,模型依据图像和设计要求动手操作。






到了科学软件分析任务,模型会调用相应工具完成分析。





科学深度研究的案例里,模型针对光学量子存储这一问题做了文献检索、实验参数提取、模拟计算和可视化,最后产出一个可交互的研究应用。





过去埋头故纸堆的研究者,如今走出了书斋,走进科学现场,去触碰世界运行的规律。通往通用科学智能体的路才刚起步。每一次迈向真实世界,都像人类文明最初仰望星空、丈量大地那样,正把我们带向那个鲜活而辽阔的“真实”。


眼下,你也可以把自己的任务交给 Sage S2.1 Flash,看看它在各种场景里表现如何。


体验链接:https://discovery.intern-ai.org.cn/token-plan/home

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  2. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  3. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  4. 苹果AI新布局:自研智能体操控Mac,对标四款竞品

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,

    来源 AI 科技快讯
  5. 苹果自研AI智能体曝光:招聘信息透露产品方向,对手已抢先落地

    苹果公司正开发自家AI智能体,以期与OpenAI、Anthropic竞争。11月19日,据彭博报道,苹果公司正在开发一款能够代替用户完成任务的自主人工智能智能体,正式进军由OpenAI、Anthropic、Meta等公司激烈角逐的赛道。此前11月18日苹果官网新增一条招聘信息,透露公司正在寻找一名高级工程经理,负责一款

    来源 腾讯网
  6. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  7. 总参数 224B、支持 100 万超长上下文!腾讯混元重磅开源 Hy4 flash 家族,多端生态全面上线

    人工智能开源生态再度迎来重磅更新。腾讯混元于2026年11月18日正式宣布开源 Hy4flash 模型,为开发者和广大用户带来了一款主打极致性价比的全新大模型选择。 家族矩阵全线亮相,多渠道支持便捷部署 此次腾讯混元推出的开源版本覆盖了多个不同规格,具体包含 Hy4flash、Hy4flash-FP

    来源 AI 开发者社区
  8. 苹果自研AI智能体曝光:让它替你操作Mac

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,苹果有机会

    来源 AI 行业观察
  9. 纳德拉预言:AI智能体将重塑互联网经济格局

    微软CEO萨提亚·纳德拉在最新访谈中提出,AI智能体将不再是简单的聊天工具,而是能替用户完成搜索、比价、下单的“数字代理人”。这一转变可能从根本上动摇以广告和流量为核心的互联网商业模式,迫使亚马逊、谷歌等巨头重新思考获客与竞争的方式,内容创作者与广告主的利益分配也将随之重写。

    来源 AI 科技快讯
  10. 四个AI研究员,四天时间,把一个什么都不会的模型训成了比官方版本还厉害的样子

    先说一件挺颠覆常识的事。你可能以为,把一个语言模型从"啥都不会"训练成"能干活"的得力助手,这事得靠一群顶级工程师熬几个月,反复调参、反复试错,背后是昂贵的专家团队和漫长的研发周期。这是大厂发布会上常听到的叙事。但字节跳动联合几所大学的研究者做了一件事,直接把这个假设掀翻了:他们找来四个AI智能体,每人分配八张...

    来源 腾讯网
  11. 谷歌Gemini登陆Mac:AI代理代操作电脑,桌面入口争夺战开跑?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险,也成为用

    来源 AI 行业观察
  12. Office 主客易位:微软把 Word、Excel 塞进 Copilot,AI 当门面

    昨日的 Ignite 2026 大会上,微软官宣 Office 翻开“新篇章”:办公软件不再只是文档、表格与演示工具,而将转型成 AI 智能体协同干活的“智能办公系统”。此前 Copilot 是被塞进各应用当助手,如今整个颠倒:以新款 Copilot 应用为核心,集成完整的 Word、Excel 和

    来源 AI 开发者社区
  13. 2027 AI进化峰会12月26日落地上海张江:模型如何走向物理世界

    12月26日,机器之心联合张江AI创新小镇在上海举办「2027 AI进化峰会」。大会聚焦模型底层、智能形成、系统承载与真实落地四大维度,邀请全球学者与产业专家探讨AI从单点能力向体系化协同进化的关键变量,解析Agent自主探索、光计算及具身智能等前沿趋势。

    来源 AI 应用前沿
  14. 纳德拉:AI代购兴起,恐改写互联网平台盈利模式?

    科技媒体 TechCrunch 昨日(11 月 18 日)发布博文,报道称在《纽约时报》DealBook 峰会上,微软首席执行官萨蒂亚 · 纳德拉(Satya Nadella)表示,能够替用户浏览商品、完成购买的 AI 智能体,可能重塑互联网的商业格局,让依赖用户访问和广告收入的平台面临重新洗牌。

    来源 IT之家
  15. 纳德拉:AI代劳网购或洗牌互联网,拒绝接入平台恐失机会?

    IT之家 11 月 19 日消息,科技媒体 TechCrunch 昨日(11 月 18 日)发布博文,报道称在《纽约时报》DealBook 峰会上,微软首席执行官萨蒂亚 · 纳德拉(Satya Nadella)表示,能够替用户浏览商品、完成购买的 AI 智能体,可能重塑互联网的商业格局,让依赖用户访问和广告收入的平台面

    来源 AI 行业观察
  16. 苹果招聘曝光AI Agent计划:Siri要从动嘴变动手?

    苹果招聘信息透露,公司正开发可跨应用操作、独立规划并执行多步骤任务的 AI Agent,并强调隐私与权限管理。据彭博社报道,项目仍处早期阶段。面对已积累用户与收入的竞争对手,苹果正争夺下一代计算入口。

    来源 爱范儿
向下滚动自动加载更多