GPT-6 Astra 三维科学评测仅得0.53分，ScienceVision 250题考了什么

前阵子，GPT-6 Astra 画 CAD 的视频在 X 上火了。

拿这个涡轮增压器来说，各个零件分别建模，转起来没问题，还能一键原地拆开摊平，看着确实震撼。

很快有人提到，GPT-6 Astra 在 BenchCAD 上的跑分高达 95.9%，评论区里已经有人在聊 CAD 工程师是不是要换工作了。

但也有工程师当场泼冷水：这些零件，一个都别往生产线送。画得像，不等于画得对。

外行看热闹，内行看门道。模型能把 CAD 的视觉界面复刻出来，这只是一层皮。专业工程师更在意的是：科学原理、几何结构、部件之间的关系，这些它到底弄准了没有？有没有一个专业基准，能检验 AI 对三维科学对象的观察和理解，并判断它生成的三维对象符不符合科学与工程要求？

最近出现的一个 benchmark 就能干这件事，专门评测 AI 在建筑设计中的 CAD 能力。它按专业工程师的路子走一遍零件检查流程，从结构关系到几何细节逐项核对，看模型生成的结果达不达标。

这个 benchmark 名叫 ScienceVision。工程制图只是它的一部分，生物、化学、医学影像、建筑、机械 CAD 这 5 个科学领域、22 个子领域都在范围内，共 250 道题，全部基于真实三维数据构建，模型得自己动手操作三维对象，完成观察、测量和分析。

成绩最好的 GPT-6-Astra（搭配 Codex）拿了 0.53 分，满分是 1 分。

在 BenchCAD 上跑出 95.9 分的选手，换到三维科学理解与推理的考场上，只过了一半。

ScienceVision 由 UniPat AI 和视觉推理实验室 Elorian AI 联合推出，是一个基于专家级视觉问答（VQA）的跨学科三维视觉理解与推理 benchmark。团队说，做它的出发点就一个问题：AI 能不能像科学家那样观察和推理？

从目前的结果看，GPT-6 Astra、Claude Fable 5.1、Gemini 4 Argon、Qwen3.8 Max 等 12 个当前最新、最强的开源和闭源前沿大模型都上了考场，没有一个能在五个学科上同时领先。

这些题到底长什么样，能把一众模型卡成这样？

先看题。

ScienceVision 的 demo 放了五个学科各一段检视操作实录。里面用的 3D 工具，是按领域专家处理三维源数据的真实操作方式建模的，尽量还原最真实的 3D 观察场景。

生物那段，把整个蛋白质藏起来，只留一个柠檬酸分子和旁边几个离子，量它们挨得多近。

化学那段最短，8 步：框出一个晶胞，用对称操作看它怎么一层层堆下去。

医学影像那段，CT 从三个方向来回切，找肾脏上那个病灶的边在哪。

CAD 那段是一台叉车，零件一个个点开，数有几个长得一样。

建筑那段，顺着一条坡道量长度和高差，看坡度超没超标。

五段 demo 看下来，就像各领域的人类专家在审核本领域的 3D 视觉问题。动作本身不复杂，转、点、量而已，难的是每一步都得先想清楚往哪转、点什么、量哪里。没有比较扎实的观察、理解、推理，很难做出正确判断。

光看视频不过瘾，可以自己上手。

这五道题的原始文件和检视工具，ScienceVision 的 blog 上原样开放了：题目可以自己点开，切 3D 或平面视图，体验真实的三维检视过程，评估 AI 的科学观察能力。下方是上手实测，可以感受一下：

题看完了，再说说为什么要出这套题。

科学3D评测的空白地带

3D理解与推理的基准此前并不缺，室内场景理解、具身交互、抽象结构推理等方向都有覆盖，不过它们主要服务日常场景感知、机器人操作或工业设计这类通用任务。真正盯着科学领域的3D理解与推理基准却近乎空白——只有医学影像、机械工程等少数应用场景有专门基准，系统化的科学3D推理评测还没成形。

可科研这件事，本来就要求在真实三维世界里能看、能推。化学家得找到原子的位置、量出几何关系；放射科医生要在不同切片之间追着结构走；建筑工程师得换视角、绕开遮挡，确认构件怎么连在一起。

这些活，没有哪一样是瞟一眼图就能交差的。人类科学家会凭经验判断往哪儿看、怎么看、量什么，看完再用专业知识下结论。换到 AI Scientist 身上，道理一样。

ScienceVision 考 AI 的路子也是如此：题目和数据给到眼前，看哪里、怎么查，由模型自己定。这里头的关键，有点像「斯坦门茨画线」那个故事——画一条线值1美元，知道在哪儿画线值9999美元。模型水平高低就此分出，而靠谱的观察与理解，正是检验的第一关。

科学领域的3D理解和推理评测，过去各学科的问题设定、任务输入、评估方式都五花八门：3D文件格式不统一，渲染出来的交互逻辑不一样，表达形式也各不相同。ScienceVision 要填的就是这个空，做一个统一的跨学科3D视觉理解评测。

250 道题，66 位专家，近 500 小时

ScienceVision 覆盖生物学、化学、医学影像、机械 CAD 和建筑学五个学科，每个学科 50 道题，合计 250 道，横跨 22 个子领域。

一道题由四块组成：一份真实的3D源数据（分子坐标、CT体数据、机械装配体或建筑模型），一个领域问题（看什么、在哪找、用什么单位和坐标），一份作答要求（返回什么、什么格式），外加一个专家标好的参考答案。

判分用的是确定性规则，不拿语言模型当裁判。没有「大致正确」这一说，到就是到，没到就是没到。

带确定性校验的 benchmark，其实还藏着另一层用处：它几乎能原地变成强化学习环境——答对给奖励，答错不给，不需要再找一个模型来当裁判。

不过，把这套题出出来，本身极难。

头一关，是挑出科学上有意义、且确实得靠三维证据才能答的问题。构题要从具体科学对象出发，把观察目标、判定条件和所需证据定清楚，还要确认题目在给定环境里解得出来。每道题都得同时过三关：专业上站得住、视觉目标看得清、答案可以复核。

第二关，是让不同领域的数据都能被正确观察和测量。分子坐标、CT体数据、机械CAD和建筑模型，格式、尺度、坐标约定、操作方式各不一样。转换和展示的时候，关键结构信息不能丢，还得给各类对象配上合适的查看、隔离、切片和测量能力。

最后一关，靠领域专家把答案和证据过程做扎实。专家要核查问题真不真、相不相关，亲自观察对象、计算或确认答案，记下关键步骤，还要参与审核和返修。五个领域的专业规则各不相同，这些活得有对应领域的知识和经验才干得了。

整条流程是机器和人接力跑下来的。先由自动化管线出题：从三维资产库里挑出适合出题的对象，试试在查看器里能不能正常看、能不能量，再按模板生成候选题，过一遍规则筛选，打包。

接着专家接手：在3D标注平台上审题、改题，亲手转、隔离、测量，写下参考答案，操作轨迹顺手录下来，最后再过一道质量审核，不合格的打回。专家打回的意见又反过来喂给出题管线，让下一轮少犯同样的错。

造题、专家审核、自动修题、改进管线，一圈一圈转下来，这250道题才落得了地。

说到底，这套题的质量靠的是人。UniPat AI 搭起了覆盖五个领域的专家平台，维护66名领域专家，累计投入482.98小时。其中化学113小时，机械CAD116小时，医学影像103小时，建筑77小时，生物74小时。

专家们审问题、标答案、记操作过程，还参与多轮审核与返修。

ScienceVision 的定位正好落在这里：它要考的是 AI 具不具备专家级的观察本事，答案由专家来定，说服力才够。

像前面演示里那种操作记录，250 道题一道不落全都配了，关键帧也一步步存了下来。

有了这些记录，科学观察不再是一个只看结论的黑箱，而是能一帧帧回放的过程。往后要训练 AI 学会「看」，这批数据直接就能拿来对标。

具体怎么考？ScienceVision 拿同一套 250 道题，比了三种获取证据的路子。

头一种，把原始三维数据交给模型，让它自己写代码去分析。等于把全部原始实验数据摊在你面前，你自己算。

第二种，在数据之外再配一套交互检视工具，能转视角、隔离结构、切片浏览、量距离和角度。等于不光给数据，还塞给你一台显微镜。

第三种，只给六张固定角度的二维渲染图。能从前照片里看出多少，全看自己。

三种方式共用同一套评分标准。

这样一来，有个问题就能直接回答：数据给得更多、工具配得更全，模型的表现究竟会不会跟着变好？

分数不高，反转不少

先看结果，最高分 0.53（GPT-6-Astra 配 Codex），刚好超过满分的一半。而且这 0.53 不是答对率，它是含部分得分的平均指标，完全答对的比例只会更低。

各学科之间的差距，比总分更有看头。

五科全优的模型一个都没有。建筑、机械 CAD 和化学三科是 GPT-6 Astra 领先（0.458、0.580、0.609），生物被 Claude Fable 5.1 以 0.650 反超，医学影像则由 Claude Opus 5.5 以 0.399 居首。

CT 本身就是一叠切片，放射科医生读的也是切片，模型训练时见过的二维医学影像更是海量。

可换成带轴序和体素索引的三维数组，模型就没那么熟了。

只给六张固定角度的渲染图，分数掉得更厉害：最强的 Claude Fable 5.1 也只有 0.30，GPT-6 Astra 是 0.25。

换个角度看，模型拿到照片时识别不出来；换成三维数据，分数确实提高了，可论文本身也提出疑问：这些得分或许只是程序根据坐标推算出来的，究竟算不算「看见了」，还不好说。

更扎心的是，工具给了也一样。

榜单前五的模型里，加上交互检视工具后涨得最多的是 GPT-6.1 Sol，也只涨了 0.02；GPT-6 Astra 两种设置差不到 0.01，Claude Opus 5.5 反倒掉了 0.02。

论文里还记着一个细节：就算在工具模式下，模型照样会去翻原始坐标文件。给它一台显微镜和一张数据表，它挑的是数据表。

医学影像最出人意料，模型的操作次数大约是专家的三倍，得分却是五个学科里最低的。

这说明眼下这些前沿模型，哪怕拿到了最充分的 3D 数据和工具支持，碰上真实的科学观察与推理任务，差距仍然很大。

点得多，不等于会观察、会推理。

第一次在统一框架下，衡量出AI三维科学观察的能力边界

科学多模态评测并非空白，ScienceVision出现之前就有不少，可它们多半只管单一学科，只盯着二维图像，打分标准也是各家一套。

ScienceVision的不同之处，大致能落到三点上：

其一，题目本身就是三维的。模型拿到的不是平面截图，而是分子坐标、CT体数据、机械装配体、建筑模型这类源文件。作答时得靠领域知识去解释三维结构上的证据，部分题目还要求先从观察中识别出目标，再往下接拓扑与几何推理，层层递进。

其二，工具按专家的实际工作流程搭建。切换视角、隔离目标、浏览切片、科学测量这些检视动作，都经由MCP向模型开放，具体能用哪些取决于所用的查看器。看哪里、怎么看、量什么，全由模型自己定，没有谁替它筛选证据。

其三，评分采用确定性规则，五个学科共用一套。每题都配有参考答案和预设规则，答案的各组成部分分别核验，最后按模型配置与学科汇总。打分不依赖另一个模型，化学分子与建筑构件的成绩因此头一回能摆在一起比较。

最接近的是SciVisAgentBench，它同样支持三维交互检查，只是评测目标不一样：

ScienceVision在五个学科里用的是同一类问题，即受领域知识约束的结构性问题，配合结构化的领域问题与逐题参考答案评分；SciVisAgentBench则主要围绕科学可视化软件中的任务展开，看Agent生成的可视化与分析结果是否达到任务要求。

由此来看，AI在三维科学观察上的能力边界，是ScienceVision头一次在统一框架下量出来的。

差在哪儿弄清楚了，追赶才有方向。

往后再有人喊「AI 科学家来了」，不妨先请它把这250道题做完。