上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA
只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学
一条指令丢过去,Agent 就能拿 12,487 张 CT 图像搭出一个三维骨骼模型?这是
Sage S2.1 Flash 展示的能力。
这份技术报告由上海人工智能实验室牵头,复旦大学、中国科学院软件研究所、中国人民大学、中国科学院自动化研究所、华东师范大学、哈尔滨工业大学、北京大学等多家科研机构与高校共同参与,于近日正式发布。报告把这一总参数量 320B 的模型从训练到落地的完整流程和技术细节都摊开了讲。读懂分子和光谱、连续调用工具、在专业软件里交出成品,过去分散的能力现在被塞进了同一个模型。
论文:https://arxiv.org/abs/2611.21072
项目主页:https://internlm.github.io/Sage-S2.1-Flash/
Hugging Face:https://huggingface.co/papers/2611.21072
Github :https://github.com/InternLM/Sage-S2.1-Flash
首周上线,反馈不错
上线第一周,Sage S2.1 Flash 在真实用户手里拿到了不少正面评价。多位体验者说它“快且聪明”,在多轮任务测试中工具调用跑得很顺;放到更接近实际开发的场景里,它也能把整套任务执行下来。到了“鹈鹕测试”环节,模型生成的画面同样得到体验者的一致认可。
Sage S2.1 Flash 走的是统一科学多模态架构这条路,目的是让模型自己去读懂科学数据。
Sage S2.1 Flash 的底座是 320B 混合专家(MoE)架构,靠
有了这个通用模型主干,科学数据理解、代码执行、复杂检索、专业软件操作就能共用同一套推理能力,后续再接入科学专用模态也有了架构上的落脚点。
科学数据怎么进通用语言模型?团队给出的答案是 Sage Sci-Perception——把结构化科学数据接进去。
分子、蛋白质、核酸、光谱这些对象,都由研究团队专门设计的 Sage Sci-Perception 科学多模态感知模块来处理,方案采用
规模化可验证环境,用来搭建智能体后训练体系。
训练环境覆盖工具调用、信息检索、软件工程、机器学习实验、网络安全、专业工作空间和视觉交互,全部可验证;科学多模态理解能力则另有一套独立的科学强化学习机制来优化,模型在复杂任务里的自主执行能力由此提升。
ToolSpace
工具调用训练用的是研究团队提出的 ToolSpace 框架。它从状态感知随机游走出发,由系统自动生成跨工具、跨环境的调用序列,再靠执行条件检查、失败回滚与重新采样保证序列能跑通。跑成功的轨迹会被转成自然语言任务,并针对最终状态、关键中间状态及输出字段生成验证程序,把可复现的训练数据筛出来。最终搭起的工具协作空间包含 2,042 种工具、77,760 个调用模式节点和 804 个环境;生成的监督微调轨迹平均有 18.86 次工具调用,最长 209 次,平均跨 2.29 个环境。
机器学习编程(ML Coding)
机器学习工程这块,团队搭了一条自动化训练流水线,从收集真实科研材料、合成任务,到执行实验并验证结果,全流程都交给系统跑。流水线里汇入了 4,936 条 Kaggle 数据来源、2,960 篇研究论文,还有 Hugging Face、GitHub 等平台的代码和数据资源;数据集与算法实现靠数据接口、训练入口和评测指标来匹配,环境是否可用则在固定依赖的容器里验证。
任务类型包括预测建模、算法实现、论文复现和模型后训练。算法类任务的做法是抽掉损失函数、特征变换或参数更新等核心代码,让模型自己补全;开放式实验则要智能体自行设计方案、跑完训练。所有任务最终由 Harbor 封装成可复现环境,任务指令、执行环境和私有评测程序彼此隔离,任务是否完成要看代码运行结果、预测指标和模型权重。
视觉智能体:从看懂界面到连续操作
科研工作不光要读懂专业数据,还得在大量图形界面软件里动手操作。团队因此采用分阶段训练策略,让模型在动态视觉环境中把任务执行能力练出来。
第一阶段练的是图像识别和单步点击:模型要学会看懂界面元素、找到交互目标,再根据当前画面选出正确操作。
第二阶段把能力延伸到复杂的连续操作任务。每一步,模型都要读取当前界面、判断任务进行到哪、执行动作,再依据新截图决定下一步。训练任务通过拉长操作序列、加强步骤之间的依赖,抬高模型跟踪环境状态和规划长流程的门槛。
团队还构建了多样化的可验证训练环境,覆盖信息检索、软件工程、网络安全和生产力工具等方向,涉及多跳检索、代码开发、漏洞分析,以及 PPT、Excel、法律文档和三维工程设计等复杂任务。各方向围绕真实数据和专业任务需求,建立了从数据收集、任务合成、环境构建到结果验证的完整流程,并按领域特点设计评测机制,把事实与证据核验、程序执行、环境状态检查和最终交付物验证都纳入训练过程。
33 项基准评测
检验复杂任务执行能力
评测覆盖智能体编程、办公生产力、工具使用、机器学习工程、深度研究、信息检索和视觉交互七大领域,共 33 项基准。
四项第一:机器学习工程任务
四个第二:
这套系统瞄准的是真实科研场景里的软件操作。
团队也尝试让模型把科学任务从头到尾跑完。
研究团队还演示了Sage S2.1 Flash在三维工程设计、科学数据分析以及科研文献研究中的表现。工程建模环节,模型依据图像和设计要求动手操作。
到了科学软件分析任务,模型会调用相应工具完成分析。
科学深度研究的案例里,模型针对光学量子存储这一问题做了文献检索、实验参数提取、模拟计算和可视化,最后产出一个可交互的研究应用。
过去埋头故纸堆的研究者,如今走出了书斋,走进科学现场,去触碰世界运行的规律。通往通用科学智能体的路才刚起步。每一次迈向真实世界,都像人类文明最初仰望星空、丈量大地那样,正把我们带向那个鲜活而辽阔的“真实”。
眼下,你也可以把自己的任务交给 Sage S2.1 Flash,看看它在各种场景里表现如何。
体验链接:https://discovery.intern-ai.org.cn/token-plan/home