让AI做选择题,为什么比让它写作文更难
你有没有想过一件很奇怪的事:一个能写诗、能聊天、能解释量子力学的大语言模型,让它从"A、B、C"三个选项里挑一个答案,反而要绕一大圈?听起来不可思议,但这正是当下很多智能体系统里真实发生的事情。你去问一个客服机器人该把工单分给哪个部门,它不会直接说"B",而是先啰嗦一句"根据您描述的情况,我认为应该交给技术...
你有没有想过一件很奇怪的事:一个能写诗、能聊天、能解释量子力学的大语言模型,让它从"A、B、C"三个选项里挑一个答案,反而要绕一大圈?
听起来不可思议,但这正是当下很多智能体系统里真实发生的事情。你去问一个客服机器人该把工单分给哪个部门,它不会直接说"B",而是先啰嗦一句"根据您描述的情况,我认为应该交给技术支持团队,因为……",然后才慢悠悠地把结论说出来。这个过程里,模型其实一直在做一件选择题,却偏偏要用写作文的方式去做。
这篇来自上海人工智能实验室的论文,就是奔着这个别扭的地方去的。他们做了一个叫
**这不是在"造一个更聪明的大模型",而是在造一把专用的螺丝刀。**
为什么选择题会成为瓶颈
先说说这件事到底难在哪。
现在的智能体系统,比如一个自动操作浏览器的助手,或者一个打游戏的AI,骨子里要做的决策其实非常简单:下一步往左走还是往右走,点这个按钮还是点那个按钮,这张工单归财务组还是技术组。这些问题的答案空间是有限的,封闭的,不需要天马行空的创造力。
但如果你用一个标准的大语言模型去处理这类任务,它会按照自己最熟悉的方式工作:一个字一个字地往外蹦,生成一整段话,最后你还得从这段话里把真正的答案摘出来。
智能体*:能够感知环境、使用工具、自主采取行动的AI系统,区别于只会被动回答问题的传统聊天机器人。
这个过程有两个代价。第一个是延迟,生成文字是需要时间的,哪怕你只想要一个字母答案,模型也要把整句话磨完才肯停下。第二个是接口混乱,下游的程序要解析这段自然语言输出,才能提取出真正能用的结构化结果,这中间很容易出错。
这就好比你去银行取钱,柜员本该直接在系统里按几个键完成操作,结果每次都要先写一封详细说明信,解释为什么要给你这笔钱、金额怎么计算出来的,写完信才肯动手操作。信写得再漂亮也没用,你要的是钱到账,而不是一篇说明文。如果银行坚持用这种方式服务每一位客户,排队的人会被活活拖垮,而你要的只是一次简单的转账确认。
论文里把这类直接做结构化判断的模型称为"
在
这就是Intern-Decision要补的那块拼图:既要快,又要准,还得能看懂图片。
把JSON骨架当作答题卡
Intern-Decision最核心的设计思路,叫做"
自回归*:模型生成内容时,一个token接一个token地往后预测,每一步都依赖前面已经生成的内容,这是目前主流大语言模型的基本工作方式。
掩码语言建模
研究者把这两个本来分属不同阵营的思路捏到了一起。具体怎么做的?他们先搭建一个完整的JSON格式的"答案骨架",里面每个需要判断的字段都用一个叫做`<decision>`的占位符先占着坑。比如一个客服工单的例子里,骨架长这样:团队字段是`<decision>`,紧急程度字段是`<decision>`,是否要求退款字段也是`<decision>`。
模型的任务,就是把这些占位符背后真正该填的答案猜出来,而猜的方式沿用自回归模型最熟悉的"预测下一个token"的套路,只不过训练时的监督信号只打在这些占位符对应的位置上,JSON里的标点符号、字段名这些内容全都当作上下文,不参与训练目标的计算。
这里有个关键的工程细节值得多说两句。每个候选答案都会被映射成一个词表里真实存在的单token符号,比如选项A映射成字母"A",选项B映射成字母"B"。这样一来,模型要做的就不是生成一长串文字,而是在读到占位符前一个位置时,直接在词表上算一次softmax,把所有合法候选符号的概率挑出来归一化,谁的概率最大就选谁。整个过程只需要一次完整的前向传播,哪怕一个请求里塞了好几个字段要判断,也不需要分开跑好几次。
这就像是一张纸质的标准化考卷和一篇开放式作文的区别。你去参加一场标准化考试,试卷上印好了ABCD四个选项,你只需要在对应的圈里涂黑,阅卷机器扫一眼就能出分。如果这场考试非要求你把每道题的解题过程完整写出来,阅卷老师再从你的作文里找出你最终选的是哪个答案,那阅卷效率会被活活拖垮,而且还容易因为你表述不清出现误判。如果不采用涂卡这种设计,模型就得像写作文一样把答案"说"出来,字数一长,延迟自然跟着涨,判断一旦出现文字歧义,下游系统解析时还容易出错,涂卡机制恰好把这两个麻烦一次性都解决了。
论文里还有一个容易被忽略但其实很讲究的细节:虽然多个字段共享同一次前向传播,但因果注意力的顺序意味着排在后面的字段能看到前面字段的占位符,可前面字段真实的预测结果或标准答案并不会被"喂"回去给后面的字段参考。换句话说,这不是一个互相商量好答案的联合决策,每个字段的判断在逻辑上依然是独立完成的。
温度缩放
光会选答案还不够,一个好的决策模型还得知道自己有多大把握。
这就引出了论文里另一个重要的技术点,
温度缩放*:一种事后校准技巧,给模型输出的概率分布除以一个大于1的正数(叫做温度),让过于自信的概率分布变得更平缓一些,同时保证排序第一的答案不会变。
为什么需要这个步骤?你可以想象一个总是自信满满的学生,做选择题的时候哪怕完全是蒙的,也会一口咬定"我90%确定选C"。如果他真的每次都有90%的把握,那倒也罢了,可现实是他蒙对的概率可能只有60%左右,自信和实际准确率对不上号。这种"过度自信"在AI模型里很常见,因为训练过程天然会让模型把答案推得越来越极端。
温度缩放做的事情,就是在这个学生说出答案之后,用一个统一的系数把他嘴里说出来的那个置信度数字往回拉一拉,让这个数字更贴近他真实的答对概率,但完全不改变他最终选的是哪个选项。
论文为了验证这个校准是不是真的有用,专门搭建了一个"
三门问题*:一个经典的概率悖论场景,参赛者先选一扇门,主持人知道奖品在哪并打开一扇没有奖品的门,问参赛者要不要换门,正确答案是换门能把中奖概率从三分之一提升到三分之二。
论文作者专门强调了一点,这类题目考的不是你能不能猜中哪扇门有奖,而是你能不能把概率分布说对。如果一个模型只把100%的把握押在"另一扇门"上,虽然它选对了更可能的那扇门,但它完全没能表达出那扇门背后依然存在三分之一的不确定性,这种表面正确、内里失真的回答,恰恰是温度缩放想要纠正的问题。
实测下来,Intern-Decision-4B在这个96道题的测试集上,经过温度缩放后,衡量整体预测质量的多分类
Brier分数*:评估整个概率分布预测质量的指标,数值越低说明预测的概率分布越贴近真实情况,不像准确率那样只看选没选对。
值得一提的是,在三门问题这道具体的题目上,经过校准的Intern-Decision-4B给出的概率是42.2%对57.8%,而对照组Jev给出的是18%对82%。真实的理论答案是33.3%对66.7%。两边都正确地选中了"换门更划算"这个结论,但Jev的数字明显比理论值更极端,偏离更大,而校准后的Intern-Decision反而更接近真相。有意思的是,论文作者也诚实地指出,这个具体案例里,没经过校准的原始Intern-Decision输出(34.9%对65.1%)其实比校准后的结果更接近理论值,说明温度缩放带来的是整体层面的提升,并不保证每一道单独的题都变得更准。这种不回避反例的态度,反倒让整篇论文的数据更可信。
小模型搭配大模型的
既然Intern-Decision是个轻量级的小模型,它当然不是万能的。
这个思路其实很朴素:小模型遇到自己没把握的题目时,别硬撑着给答案,把它转交给一个更强大的模型去处理。
分诊*:原本是医院急诊室的概念,病人送来后先做基础判断,普通情况就地处理,疑难重症转交给专科医生,这里借用来描述AI系统里"简单问题本地解决,复杂问题升级处理"的分流机制。
论文在111道公开的
这组数字背后藏着一个挺有意思的权衡。如果让Atria-Dawn-Preview独自处理全部111道题,它能答对99道,准确率89.19%,比混合方案还高出接近2个百分点。但代价是什么呢?论文记录下来的测算时间显示,Atria独自处理全部题目耗时300.03秒,而混合方案估计只需要140.16秒,时间上省了超过一半。
这就像是医院的分诊台。如果每个病人不管感冒还是心脏病都直接送去看最贵的专家门诊,诊断质量肯定有保证,但排队时间会被彻底拖垮,专家的宝贵精力也被大量浪费在处理普通感冒上。分诊台的价值在于,先用基础检查筛一遍,普通情况当场打发,疑难情况才往上转,整个医院的运转效率因此提升一大截,代价是极少数边缘案例可能被初级分诊判断错误。如果完全取消分诊这一步,所有病人都排长队等专家,医院的接诊能力会直线下降,大部分本可以速战速决的轻症患者反而被拖得最久。
速度上的真实差距
说完准确率和置信度,再来看看这篇论文最直给的卖点,推理速度。
论文在一块RTX 4090显卡上做了本地测速,固定用一个289个token、包含三个字段的请求去测。结果是,Intern-Decision-4B平均延迟44.16毫秒,0.8B和2B两个更小的版本大约在33到34毫秒左右。作为对照的Jev,平均延迟是109.70毫秒。
换算下来,Intern-Decision-4B的速度大概是Jev的2.48倍,更小的0.8B和2B版本则能达到3.2倍以上。这个差距意味着什么?假设一个智能体系统每秒钟需要连续处理几十个这样的判断请求,用Jev的话大约每秒能跑9.1次,而用Intern-Decision-4B大约每秒能跑22.6次,小尺寸版本甚至能到29到30次。这不是一个微小的优化,而是直接决定了一个智能体系统在真实场景里能不能"跟得上节奏"。
论文作者也很克制地加了一句提醒:这些是固定短请求下的测算结果,不代表长上下文或者截图处理场景下的真实表现,批量大小、预热时间、Jev自身的服务配置这些变量都还没有被完全对齐,所以这个速度比值更适合当作一个参考方向,而不是绝对的硬件加速结论。
训练数据从哪里来
支撑这一切的是一套精心构建的训练语料,总共17,880条样本,对应23,500个决策,其中5,500条带图片。论文给出了一张相当细致的构成图,大致分成三块。
第一块是纯文本的合成决策数据,用
这三块拼图共同构成了Intern-Decision"既懂文字又懂图像"的能力底座。论文特别提到,0.8B、2B、4B三个版本用的是完全相同的训练输入,这个细节经过输入哈希、训练日志、tokenizer缓存三重校验确认一致,意味着后续看到的性能差异,基本可以归因于模型规模本身,而不是数据配比上的猫腻。
七项测试的成绩单
说了这么多设计理念,终究要看数据说话。论文在七个评测套件上做了全面比较,公开的Jevbench基准(分Easy、Original、Hard三档)、
Intern-Decision-4B拿到了七项平均90.02%的成绩,超过了对照组Jev的88.74%,在七项里拿下五项第一或并列第一。具体来看,它在Jevbench-Easy上48题全对,Original上72题对71题,Hard上111题对82题,Typed Decision的2000个字段里答对1611个,ToolACE的310道题答对299道。Jev只在WildJailBreak这一项上领先,Laya在AG News上领先,JevK5在Hard这一项和4B模型打平。
| 模型 | Easy | Original | Hard | Typed | ToolACE | AG News | WildJB | 平均 |
|---|---|---|---|---|---|---|---|---|
| Jev | 100.00 | 98.61 | 72.07 | 73.35 | 91.29 | 89.57 | **96.29** | 88.74 |
| Laya | 95.83 | 72.22 | 28.83 | 35.95 | 63.87 | **92.84** | 14.84 | 57.77 |
| JevK5 | 100.00 | 97.22 | **73.87** | 64.50 | 80.97 | 89.13 | 90.45 | 85.16 |
| Intern-Decision-4B | **100.00** | **98.61** | **73.87** | **80.55** | **96.45** | 90.82 | 89.86 | **90.02** |
值得一提的是,论文里对比的三个Intern-Decision版本本身呈现出一条清晰的递增曲线,0.8B是79.38%,2B是84.68%,4B是90.02%,随着参数量增大稳步提升。但作者没有把这个趋势简单归功于"模型越大越好"这种套话,而是老老实实地写明,没有做配对数据和训练算力的消融实验,所以不能单独断言这个提升纯粹来自参数规模。这种不夸大结论的态度,贯穿了整篇论文。
看得见的应用场景
除了冷冰冰的跑分表,论文还放了几段挺有意思的定性演示,证明这套系统不只是停留在纸面测试上。
在贪吃蛇、接水果、超级玛丽、VizDoom寻找补给和瞄准敌人这几个小游戏场景里,Intern-Decision直接读取游戏画面截图,不需要先把画面转成文字描述,就能做出"往哪个方向移动""要不要开火"这类判断。论文特意提到一个细节:在VizDoom的健康包搜索任务里,智能体撞墙之后会调整视角重新搜索,这是一个观察到的真实行为,但作者很谨慎地说明,这并不能证明模型学会了某种通用的探索算法,只是记录了一次具体轨迹里发生的事情。
在验证码风格的图形选择任务里,比如"点击最大的红色球体""点击与众不同的那个图形",Intern-Decision能够连续多步调整鼠标位置,最终准确点击到目标,整个过程不需要人工介入纠正。
最贴近实际应用的是浏览器辅助场景。论文设计了一套
这套分工方式挺像一个旅行团的运作模式。领队提前规划好整条路线,今天去哪个景点、明天住哪家酒店,这些需要综合判断的大方向交给经验丰富的领队来定。但到了具体的岔路口,往左走还是往右走,这种高频率的即时小决策,交给一个反应更快、成本更低的向导来处理就够了。如果每一次岔路口都要打电话问总部的资深专家,团队的行进速度会被无谓的沟通成本拖垮,而如果完全不设领队,只让向导们各自为政地走,又会在大方向上迷失。分层恰好让两种能力各自发挥所长。
写在后面
读完这篇论文,有一个点让我反复琢磨了很久。
论文里那个三门问题的实验结果,特意把"选对了门"和"概率说对了"这两件事分开讨论。校准前的Intern-Decision、校准后的Intern-Decision、还有对照组Jev,三者给出的答案都正确指向了应该换门这个结论,但背后的概率数值天差地别。这件事其实在提醒我们一个容易被忽略的问题:一个AI系统给出"正确答案",和它真正理解了这个答案背后的不确定性,是两回事。
很多时候我们评价一个模型好不好,只看它猜没猜中,却很少追问它对自己的猜测有多诚实。这篇论文花了大量篇幅去专门构建一个"已知分布测试集",就是想把这个经常被忽视的维度单独拎出来量化。这种对"诚实表达不确定性"的较真态度,比单纯刷高准确率的数字更值得留意。
另一个让我意外的细节,是论文作者对自己结果的克制。他们反复强调七项评测的平均分是"非加权平均"而不是"合并总准确率",强调速度对比缺少某些硬件配置的完整披露,强调公开Jevbench数据集已经参与过开发过程、不能算纯粹的独立泛化证据。一篇论文愿意反复给自己的结论打补丁、设限定条件,这种写法在学术圈其实并不常见,倒让人对数据本身的可信度多了几分信任。
这套"用选择题代替作文题"的思路,眼下看起来是为智能体系统量身定制的一个效率补丁。但往深了想一层,它其实触及了一个更根本的问题:当AI系统越做越大、越来越像一个通才的时候,我们是不是也需要一批反方向的、专精到极致的小模型,去处理那些根本不需要通才能力的高频小决策?这两种路线会不会在未来某一天找到一个更优雅的融合方式,而不是现在这样靠置信度阈值手动分诊?
Q&A
Q1:Intern-Decision是什么?
A:Intern-Decision是上海人工智能实验室推出的多模态决策模型家族,有0.8B、2B、4B三种规模,专门用来做结构化选择题,可以处理文字也可以看图片,一次前向传播就能给出答案和置信度。
Q2:Intern-Decision比传统大模型做选择题快多少?
A:在固定请求测试中,Intern-Decision-4B平均延迟44.16毫秒,比对照组Jev的109.70毫秒快了2.48倍,更小的0.8B和2B版本甚至能快3.2倍以上。
Q3:Intern-Decision的置信度校准有什么用?
A:通过温度缩放技术,模型输出的置信度能更贴近真实准确率,在96道已知分布测试题上,期望校准误差从0.213降到0.089,意味着模型"说自己有多大把握"变得更可信了。