书生-S2.1 Flash开源:能操控CAD与QGIS的科研智能体

资讯 AI 应用前沿 全文 3315 字 · 约 9 分钟读完 分类开源智能体多模态

上海AI实验室开源了书生-S2.1 Flash,这是一个专门针对科学场景的多模态大模型。它不仅能看懂分子结构、光谱和脑电波,还能直接操作3D Slicer、QGIS、CAD等专业软件完成建模和分析。相比之前的版本,它的推理成本降低了90%,在多项通用智能体基准测试中表现优异。文章介绍了其技术原理、实际应用场景以及与竞品

所属频道 模型发布智能体与 Agent开源生态

从“读懂”到“动手”,书生-S2.1 Flash 的核心变化就落在这两个字上。

这几年,大模型进科学圈,干的活儿多半还是读论文、给建议。化学问题它能引经据典,可一旦让它处理一组原始质谱数据,或者在CAD里画个零件图,它往往只能说出“该怎么做”,真上手“去做”就不行了。

上海AI实验室最新开源的书生-S2.1 Flash(Sage-S2.1 Flash)想打破的就是这道界限。卖点很直接:十余类科学数据它能理解,专业科研软件它也能直接操控。说到底,它不再只是个聊天机器人,而是能真正介入科研工作流的智能体(Agent)。

模型建在书生·元征统一表征架构之上。分子图、晶体结构、蛋白质序列、光谱,甚至脑电图,这些看起来毫不相干的数据,都被它转成了大模型能理解的统一语言。通用智能体能力同样具备:自主规划任务、编写代码,还能调用 3D Slicer、QGIS、CAD、EEGLAB 等具体软件动手实操。

对科研人员来说,最直观的感受可能是成本降了。官方数据显示,S2.1 Flash 的推理成本只有上一代智能体模型“书生·星河”的十分之一。MLE-bench Lite 基准测试中它拿到 90.3 分,超过 Claude Opus 5;33 项通用智能体基准里,4 项第一、7 项第二。性能保住了,使用门槛却明显往下走。

技术底层:它是怎么学会“操作软件”的?

让一个大模型去操作 QGIS 或 CAD 这类复杂桌面软件,靠简单的提示词工程实现不了。书生-S2.1 Flash 的技术路径主要依赖三个关键机制。

头一个是科学多模态统一表征。传统多模态模型往往偏重图像和文本,科学数据的专业性却高得多。X射线衍射图谱和心电图波形,在外行眼里都是线条,放到科学语境下含义天差地别。S2.1 Flash 通过特征编码与投影,把这些异构数据转成语言大模型可识别的表征。这样一来,同一条推理链路里,自然语言提问和科学数据输入可以一起处理,跨模态的联合理解也就成立了。

再一个是通用智能体与工具调用闭环。模型不只是生成文本,它会围着研究目标自己拆任务。接到遥感分析任务,它先检索相关背景资料,再写 Python 脚本调用 QGIS 接口,加载卫星影像,执行分类算法。中间结果出了异常,比如水域边界识别错了,它会回查原始数据和代码,动态调整分析方案,而不是直接抛出一个错误结论。“规划-执行-核验-调整”这一圈走下来,正是它和普通对话模型的分水岭。

最后是递归式自我改进(RSI),这是书生系列模型的一个特色。真实的任务执行轨迹、工具返回的结果、人工核验的反馈,都是它持续学习的来源。每完成一次任务,成功也好失败也罢,都会成为它进化的养分。反复处理科学多模态输入、校验实验结论,模型的推理偏好不断被修正,一种自进化飞轮就此形成。长期看,特定领域的复杂任务,它会做得越来越准。

实际能干些什么?五个具体场景。

要看清楚 S2.1 Flash 的能力,几个具体应用案例更说明问题。从数据输入一路走到可交付的工程文件,这些案例把过程展示得相当完整。

1. 医学影像三维重建

处理医学 CT 数据,常见的痛点是切片层序混乱,或者得靠手动分割。S2.1 Flash 能从 1.2 万余张混杂的 CT 图像中自动还原切片层序,接着在 3D Slicer 软件里执行三维重建,生成骨骼的三维模型。最关键的一步,是它会回溯核验骨性结构的完整性,确保重建结果符合解剖学逻辑。最终交付的不是几张截图,而是能在 3D Slicer 中重新打开和编辑的工程文件。

2. 遥感水域监测

对地理信息系统(GIS)专家来说,对比不同时期的水域变化是件繁琐活儿。S2.1 Flash 能读取两期鄱阳湖的卫星影像,在 QGIS 中自动圈定水域边界,统一比较范围,并量化水域面积的变化。整个过程完全自动化,每一步操作都有记录可查。研究人员若对边界划定有疑问,模型的处理参数和中间结果可以直接调出来看。

3. 工业建模与装配检查

机械工程领域,S2.1 Flash 展示了它在 CAD 环境中的能力。依据提供的参考图,它能在 CAD 软件中完成航空发动机的参数化建模,还能进行整机装配,并自动执行干涉检查。零件之间存在冲突,它会尝试修复模型。原型设计阶段因此受益不小,大量重复性的建模和检查工作都能交给它。

4. 脑电信号处理

神经科学研究中,脑电数据往往夹杂大量噪声,眨眼伪迹就是其中之一。S2.1 Flash 能在 EEGLAB 软件中自动识别并剔除这些伪迹成分。处理完成后,它会生成处理前后的波形对比图,供研究人员复核净化效果。预处理流程自动化之后,科研人员清洗数据的时间可以大幅减少。

5. 建筑三维场景重建

从多角度照片出发,S2.1 Flash 能在 Blender 中搭建包含材质、照明和镜头构图的可编辑三维场景。这和普通的图片生成视频不是一回事,它生成的是真正的三维工程文件(.blend)。建筑师或设计师可以在此基础上继续修改灯光、调整材质,而不是面对一张无法编辑的图片。

与 Google AI Co-Scientist 的区别

科学智能体这条赛道上,Google DeepMind 推出的 AI Co-Scientist 是一个强有力的竞争者。但两者在定位和能力上有明显的差异。

两者的定位并不一样。书生-S2.1 Flash 干的是“实验操作员”加“数据分析师”的活,处理原始数据、操作具体软件,把“动手做”的部分扛下来。AI Co-Scientist 基于 Gemini,走的是“结构化科学思维引擎”的路子,由六个专用智能体组成,重心放在文献驱动的假设生成、实验方案设计和自我辩论上,解决的是“出 idea”的问题。

数据输入上差别也很明显。S2.1 Flash 原生支持分子、晶体、光谱、脑电等十余类科学数据的直接输入和理解,实验数据它能直接“看”懂。AI Co-Scientist 主要处理文献和文本,还不具备直接分析原始实验数据的能力。

软件操控则是 S2.1 Flash 最大的优势。3D Slicer、QGIS、CAD 这些带图形界面(GUI)的专业软件,它都能原生操控。AI Co-Scientist 更多借助搜索、AlphaFold 等外部 API 工具,对复杂桌面软件缺乏直接操控能力。

自我改进机制同样走了两条路。S2.1 Flash 采用 RSI 机制,从执行轨迹和人工反馈中学习;AI Co-Scientist 用的是 Elo 锦标赛和测试时计算,靠自我对弈式的辩论来迭代假设。

说白了,要一个助手帮忙读文献、提假设,AI Co-Scientist 可能更合适;手头有一堆原始数据要处理,或者得在专业软件里完成建模和分析,书生-S2.1 Flash 更实用。

如何使用与获取

目前书生-S2.1 Flash 已经全面开源,研究人员和开发者可以通过下面几个渠道获取和使用。

  • 项目官网:到 InternLM 的 Sage-S2.1-Flash 页面,技术报告和文档都有详细介绍。
  • 代码仓库:完整代码已在 GitHub 公开,本地部署和二次开发都方便。
  • 模型下载:HuggingFace 模型库提供了预训练模型的下载。
  • 在线体验:书生·端砚科学发现平台支持在线体验。注册账号后上传科学数据,用自然语言描述任务,就能观察模型自主执行的全过程。

用的时候,建议把它的“可追溯”特性用足。模型交付的工程文件和处理记录组成一条完整的证据链,你可以随时回查它当初是怎么判断的,改完参数再启动新一轮验证。对严谨的科学研究来说,这种透明性很关键。

开源社区参与进来后,预计会出现更多针对特定科学领域的微调版本。对科研工作者而言,这可能意味着一个更高效、更自动化的工作流正在到来。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯混元Hy4 flash发布:0.5元/百万Token,计划开源

    新京报贝壳财经讯(记者韦英姿)11月16日,腾讯混元发布最新语言模型Hy4 flash,总参数量224B(含64BEngram参数),激活参数12B,支持多模态与1M上下文长度。定价为每百万Token输入0.5元、输出2元,命中缓存时0.02元,低于Hy4。

    来源 网易科技
  2. Nex-N2.6开源:321B多模态Agent模型如何破解“鬼打墙”循环?

    上海创智学院(Nex-AGI)开源了基于GLM-5.3-Flash后训练的Nex-N2.6模型。该模型拥有约3210亿参数,支持256K上下文,主打电脑操控、编程和长程工具调用。其核心突破在于将推理复读率从16%降至1.6%,并在OSWorld评测中取得83.0分。文章介绍了其技术原理、本地部署方法及与竞品的对比。

    来源 AI 应用前沿
  3. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  4. 腾讯混元发布Hy4 flash:224B参数,单任务成本只有Hy4的1/20

    【环球网科技综合报道】11月16日,腾讯混元发布最新语言模型Hy4 flash。该模型总参数量224B(其中64B Engram参数),激活参数12B,支持多模态和1M上下文长度。腾讯混元称,Hy4 flash是其迄今性价比最高的Hy模型,每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比 Hy

    来源 腾讯网
  5. 腾讯Hy4 flash发布,速度大幅提升,单任务成本仅为Hy4二十分之一

    本文来源:时代财经 11月16日,腾讯混元最新语言模型Hy4 flash发布,模型总参数量为224B(其中 64B Engram 参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型:每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,单任务成本仅为Hy

    来源 腾讯网
  6. Hy4 flash 发布:224B 总参数、12B 激活,API 价格大幅下调

    今天,我们正式推出 Hy4 flash,这是迄今为止最高性价比的 Hy 模型,总参数量为224B(其中64B Engram 参数),激活参数 12B,支持多模态和1M 上下文长度,API价格相比 Hy4 大幅降低。 我们通过一系列工作在极致优化成本的同时兼顾智能水平和实用性: 在预训练阶段,Hy4

    来源 AI 开发者社区
  7. 腾讯混元Hy4 flash:224B参数、12B激活,单任务成本仅Hy4的5%?

    11 月 16 日,腾讯混元最新语言模型 Hy4 flash 发布,模型总参数量为 224B(其中 64B Engram 参数),激活参数仅为 12B,支持多模态和 1M 上下文长度。Hy4 flash 是迄今为止最高性价比的 Hy 模型:每百万 Token 输入 0.5 元、输出 2 元,命中缓存时仅需 0.02 元

    来源 AI 行业观察
  8. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  9. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  10. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
  11. 腾讯混元Hy4 flash发布:224B参数,输入每百万Token 0.5元

    今天,腾讯混元发布最新语言模型Hy4 flash。Hy4 flash总参数量为224B(其中64B为Engram参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型,每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。目前,Hy4

    来源 腾讯网
  12. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  13. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  14. 阿里腾讯同日发新模型:Qwen4-Max单任务降58%,Hy4 flash仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。 11月16日,阿里和腾讯在同一天各

    来源 AI 行业观察
  15. Fable 5.2发布:套壳Agent的编排壁垒还能撑多久?

    Fable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。 当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。 这件事倒是很能说明Fable 5.2在国内的处境。 讨论的人多,真正用上的人

    来源 AI 行业观察
  16. 是石科技发布多模态服务:视频生成提速2.48倍且画质无损

    AI视频批量生产面临速度与质量的矛盾。是石科技新推出的多模态模型服务,通过自适应缓存加速、显存协同优化及Token压缩技术,在保持画质的前提下将推理速度提升2.48倍。同时引入Context Engine解决多素材结构化衔接难题,旨在降低企业级视频生成的算力成本并提高并发处理能力。

    来源 AI 应用前沿
向下滚动自动加载更多