SanSi让AI决策模型多想几遍:准确率从58.4%提到72.0%
你有没有想过,为什么有些AI客服能秒回你的问题,有些却要"思考"半天?2026年,一种叫做"类型化决策模型"的AI开始流行起来。它们干的事情很简单:你给它一段文字和几个选项,它直接告诉你每个选项的概率,不说废话,不写长篇大论。比如判断一封邮件是不是垃圾邮件,一个案例符不符合政策,一道选择题选哪个答案。这种模型被...
有些AI客服能立刻回你的问题,有些却得“想”上半天,这是为什么?
2026年,一类叫“类型化决策模型”的AI开始走红。它的活儿很简单:给一段文字、几个选项,它直接报出每个选项的概率,不写解释,也不绕弯子。判断邮件是不是垃圾邮件、看案例符不符合政策、做选择题挑哪个答案,都归它管。这种本事被叫作“System 1”思维,跟人凭直觉脱口而出是一个路数。
所谓类型化决策模型,就是接收一个状态(比如一段文字)、一个问题加若干选项,直接返回各选项概率、不生成任何文字说明的AI模型。
快倒是快,问题是有些题根本没法“秒答”。
拿这句话举例:“奥马尔是诚实的人,伯特说奥马尔说真话,本说伯特是骗子。”然后问你:本说的是真话吗?
得一步步推:奥马尔诚实,那伯特说的就是真的;伯特诚实,可本说伯特是骗子——本要是说真话,伯特就成了骗子,这跟“伯特说的是真的”顶上了。所以本在撒谎。
这种链式推理,AI的“一次性直觉”有多不靠谱?论文给了一个挺扎心的数字:商业产品Jev API处理一步推理链时正确率100%,链条拉到三步,准确率掉到62.5%,六步以上就基本是瞎猜的50%水平。
论文要解决的核心矛盾就在这儿。扫一眼的“直觉模型”碰上复杂推理会失灵;可要解决复杂推理,传统办法是让AI像人一样写长长的思考过程,也就是“System 2”思维,一步步写“让我想想……所以答案是”。这么干,每生成一个字都得把整个模型重跑一遍,速度慢,还把“直接返回概率”这个干净接口给弄丢了。
明尼苏达大学的研究团队于是提了个折中方案,管它叫System 1.5。
循环:参数不增加,只增加思考次数
论文的核心模型叫SanSi,名字来自《论语》里“季文子三思而后行”的“三思”。它建在一个叫Ouro的语言模型上,这个模型本身就被设计成可以“循环”。
循环是怎么回事?把同一组神经网络层反复套在自己刚输出的结果上,每循环一次,等于让模型把当前的理解再审视一遍,但不生成任何新文字。
思路其实挺直白。一眼不够就再看两眼、三眼,但不是从头到尾写一篇论证文章,而是让同一套参数“回头再看”自己的判断,看能不能找出先前漏掉的东西。
技术细节是这样:模型有24层网络,这24层当成一个整体反复用,比如用8次。每循环一次,模型最后都会输出一个各选项的概率分布;训练时,每一次循环的输出都要和正确答案比对、打分、反向传播调参数。这样得到的模型,不管你让它循环1次还是8次,给出的答案都是专门训练过的,不是半成品。
好比让学生做一道数学题。只给他看一遍题就让他写答案,他可能凭第一感觉写个数字就交卷。可你要是说“再检查一遍”,他会重新审视刚才的推理,发现哪儿漏看了条件。SanSi做的,是让模型把“再检查一遍”这个动作内化成参数本身的一部分,而且每一次检查都有自己的“及格线”,不是只有交卷那一刻才算数。
不这么设计会怎样?论文专门做了对比实验。他们训练了一个只在最后一次循环才算损失的版本,结果早期循环完全没学会答题:第一次循环准确率只有35.6%,同样条件下SanSi能到58.4%。更糟的是,这种“只在最后打分”的模型整体表现还低1.1个百分点。光多转几圈不够,得让每一圈都“有用”,模型才真能学会利用这几次额外机会。
循环带来的提升有多大
研究团队把SanSi和一个结构完全相同、但只跑一次的模型SmolLM2-1.7B摆在一起比。训练数据一样,训练方法一样,随机种子也一样,唯一差别是SanSi会循环8次。
结果72.0%对58.4%,高出整整13.5个百分点。
这个差距意味着什么?一万多道测试题里,SanSi能比对照组多答对大约1350道。而且提升不是靠某几类题撑起来的:59个测试来源里有55个,循环版本都比单次版本表现更好。
提升最明显的地方挺有意思。简单分类任务,比如判断一条评论是正面还是负面,循环只带来3.1个百分点的提升,这种题扫一眼基本就看出来了。可涉及多步推理的任务,提升达到15.1个百分点;需要读长文档的任务,提升16.7个百分点;考察知识的问题,提升高达17.6个百分点。
这个规律挺合直觉:一道题扫一眼就能看懂,多看几眼也不会有新发现;可要是得把好几条信息串起来理解,“回头再看”就有意义了,因为第一遍可能压根没来得及把所有线索串上。
就像在超市找东西。货架上贴着大大的标签,你扫一眼就知道牛奶在哪,多看几遍也不会找得更准。可要在一堆相似的调味料里挑出那瓶特定品牌的酱油,第一眼很可能被包装相近的邻居干扰而拿错,这时多看一眼、专门核对标签上的文字,才真管用。循环的价值不在“看得更久”,而在于给了模型一个纠正第一印象偏差的机会。
当然,循环不是白给的。每多循环一次,就要多跑一遍整个24层网络,计算成本线性增加。论文测算,跑满8次循环的计算时间大约是单次模型的7.7倍。但有意思的是,这个成本能灵活控制:只跑3次循环,已经能拿到跑满8次所带来提升的88%左右,花费只是跑满8次的三分之八。使用者可以按场景的紧急程度,自己决定要不要让模型“多想一会儿”。
既然循环的做法归根结底是拿算力换准确率,那换个思路是不是更省事——直接把模型做大?这个问题研究团队显然也想过。
他们找来Qwen3.5-4B做对照,这个模型的参数量是SanSi的3倍。对比下来,Qwen3.5-4B的准确率确实更高,领先1.8个百分点,可它耗掉的计算时间是SanSi跑满8次循环的3.3倍。要是按单位计算量的性价比来算,赢家反而是循环模型。
更有分量的证据出自两组专门设计的“深度测试”。研究者出了“说谎链”和“物品交换”两类题,难度用一个数字就能卡准——需要追踪多少步依赖关系。训练阶段这两类题最多到8步,测试时则刻意拉长到16步,全是模型没见过的更难题。
成绩很能说明问题。9到16步的说谎链题上,SanSi跑满循环后答对72.6%,参数量3倍于它的Qwen3.5-4B只拿到50.0%,基本就是瞎猜的水平。物品交换任务上差距也差不多,SanSi领先将近30个百分点。
参数堆得再多,若只给模型一次“看”的机会,碰上要多步推理的新题照样翻车。循环赋予模型的是把同一道题反复咀嚼的余地,面对陌生的深层推理,这种余地比单纯加大参数更顶用。
打个比方可能更好懂。大参数模型像一位学识渊博的专家,翻一眼材料就下结论,普通问题几乎不出错;可要是递给他一份得反复核对、交叉引用的复杂合同,学问再大也帮不上多少忙,症结不在“懂不懂”,而在“肯不肯耐着性子把每条线索捋顺”。循环模型更像一个知识面窄一些、却愿意一遍遍推敲的审校员,碰上复杂文档反倒更靠得住。不给模型反复推敲的机会,知识储备再厚也补不上深层推理的窟窿。
循环在模型内部到底改了什么
研究团队并没停在“准确率涨了”这一步,他们继续追查答案是一步步怎么变的。
有个关键发现:改善大多来得很早。第一次循环到第二次,准确率一下跳了8.5个百分点;第二次到第三次又添了3.5个百分点。到第四次循环,90.2%的答案已经“定型”,再往后几轮基本撼动不了它。
这说明SanSi的“深思熟虑”主要压在前三四次循环里,后面的循环多半只是微调,有时甚至白费力气。论文统计显示,从第五次循环起,“把错的改对”和“把对的改错”几乎打平,循环不再带来净收益。
题目难易和“定型快慢”之间还有层有意思的关系。研究者让三个不同的单次模型去答同一批题:三个都答对的算简单题,平均1.4次循环就定型;三个都答错的算难题,SanSi的答案平均要拖到第2.8次循环才稳定,而且往往还是错的。
这跟人做题的状态挺像。一眼看穿的题,扫一遍写完就不再犹豫;需要反复斟酌的难题,心里会推翻好几次答案,改来改去——可越是这种题,最后蒙对的概率反而越低。难点从来不在“想没想”,而在“有没有想对”。
循环还影响了模型的“自信心”。论文发现,置信度随循环次数往上走,答案对也好错也好,模型都变得更自信。也就是说,循环没教会模型真正的“自我怀疑”,只是让它对自己选定的答案更死心塌地,判断对错的能力并没长进。校准误差把这点暴露得很清楚:第三次循环时,模型的自信程度和实际准确率最对得上;从第四次循环起,自信继续涨,准确率却原地踏步,“过度自信”的老毛病又冒头了。
ECE(校准误差):衡量模型嘴上说的“我有90%把握”是否真对应90%的正确率,数值越低,说明模型越诚实,既不会盲目自信,也不会过分谦虚。
有个细节值得多聊两句。研究者特意造了一批“证据缺失”的题,把答题必需的关键信息故意抽掉。按理说,模型该认出“这题我答不了”,而不是硬塞一个自信的答案。实测发现,随着循环次数增加,SanSi给出“硬答案”而非“我不知道”的比例从27.1%降到17.5%——循环确实让模型更会识别“证据不够”,这项能力几乎追平了参数量3倍于它的模型。
这就像被人追问时,人的第一反应总是急着给答案,哪怕材料不全;可要是被要求“再想想”,往往会反应过来“等等,这份材料好像缺了个关键信息”,于是改口说“现在没法回答”。循环给模型的,正是这么一次“慢下来、回头检查材料齐不齐”的机会。
拿SanSi当AI训练的裁判
论文里还有个挺实用的实验:让SanSi给另一个AI模型的输出打分,再用这个分数去训练那个模型,效果会怎样?
做法是这样:研究者训练了一个问答生成模型,让它在2WikiMultiHopQA这个多跳问答数据集上练。整个过程中没有标准答案可抄,唯一的“老师”是SanSi给出的概率分数,分越高,说明答案越可能对。
结果挺有戏剧性。拿SanSi跑满8次循环的判断当奖励信号,生成模型的F1分数从39.5升到47.3,涨了7.7个百分点;用4次循环的判断,也能提6.3个百分点。可要是只用SanSi第一次循环的判断——也就是最“直觉”的那个答案,生成模型的表现反倒从39.5掉到29.1,整整跌了10.5个百分点,比不训练还糟。
道理很朴素,却容易被忽略:让一个本身判断力不够的裁判去打分,被训练的一方不但学不到东西,还可能被带歪。论文分析发现,第一次循环的判断在分辨“答案对错”上明显弱于多轮循环之后,这种分辨力用AUROC衡量,第一次循环只有0.78,第四次和第八次循环则分别达到0.91和0.90。裁判自己都看不准,被训练的模型自然找不对方向。
这就像让一个刚入职、还没吃透评分标准的新考官去批作文,跑题但辞藻华丽的文章很可能被他打高分,切题却朴实无华的文章反倒被压分。学生照着这种反馈调整写作风格,只会越改越偏。换成一位经验丰富、反复推敲过评分标准的老考官,他给出的反馈才真正有指导意义。
研究由此给出启示:循环次数怎么选并非无关紧要的细节,它直接关系到这个模型能不能被信任去承担“裁判”这个角色。
这些结论是怎么验证出来的?
研究的数据规模相当扎实。测试集有10027道题,来自59个不同的数据来源,覆盖分类、多步推理、证据不确定性判断、长文档理解、句子对关系判断和知识问答六大类题型;训练集则是12800道题,来自20个来源。
对“数据泄露”的风险,研究团队做了专门控制,保证测试题和训练题之间没有重叠的文本内容,也避免同一组相关题目被分到训练集和测试集两边。此外他们还跑了不少对照实验,比如关掉Brier评分项、用强化学习替代监督训练、把损失只加在某几层循环上,逐一查清每个设计选择各自贡献了多少。
Brier评分是一种衡量概率预测准确度的打分方式,它考察的是模型对所有选项给出的概率是否都合理,而不只是盯着正确选项那一个概率值。
这套循环机制高度依赖背后那个“本身被设计成可以循环”的基础模型Ouro。研究者为此做了反向验证:把同样的循环训练方法套到一个从未被设计成可以循环的模型SmolLM2-1.7B上,结果完全没有提升,甚至更差。可见循环带来的收益,有一部分要归功于基础模型本身的预训练方式,SanSi的训练方法更像是在“激活”这种潜力,而不是凭空造出来的。
写在后面
读完这篇论文,我最意外的一点其实是校准误差在第三次循环之后反而变差这件事。
直觉上你会觉得,模型答得越来越准,它应该也越来越清楚自己什么时候可能出错。但论文的数据明确否定了这个想法:模型变得更自信,分辨对错的能力却几乎没有同步提升。也就是说,准确率和自我认知其实是两件可以脱钩的事情,一个系统完全可以在变得更强的同时,变得更不了解自己的边界在哪里。这个发现让我对“AI越强就越可信”这个朴素假设产生了一点动摇。
论文里还有个细节我翻来覆去想了很久:约11.7%的题目会出现这种情况——模型某一次循环答对了,可全部循环跑完反倒错了。换句话说,要是能有个“上帝视角”,替每道题挑出最合适的停止时机,准确率理论上可以从71.6%直接升到83.3%。不过研究者也坦言,眼下还没办法让模型自己判断“这题想得差不多了,可以停了”。这个没解决的问题,反倒比论文已经搞定的部分更让我好奇:AI 怎么才能知道自己什么时候该停止思考?同样的问题搁在人身上,恐怕也未必有标准答案。
Q&A
Q1:SanSi是什么?
A:SanSi是一种基于循环机制的类型化决策模型。它让同一组神经网络层把问题反复处理多次,每次循环输出一次选项概率,从而在不增加参数量的情况下提升复杂推理能力,属于介于“一次直觉判断”和“长篇生成式思考”之间的System 1.5思维模式。
Q2:SanSi循环次数越多效果越好吗?
A:并非如此。实验显示,提升大多出现在前三四次循环,到第四次循环以后准确率就大体平稳了;一旦超过训练时设的循环上限,准确率反而往下走。而且目前模型并不具备自动判断“该停在哪一次循环”的能力。
Q3:用SanSi当裁判训练其他AI模型效果怎么样?
A:效果跟循环次数是直接挂钩的。拿跑满循环的 SanSi 来打分,被训练模型的 F1 分数能提高7.7个百分点;可要是只让第一次循环的判断当裁判,被训练模型的表现反倒会掉10.5个百分点。这说明裁判自己判断力不够,会把训练方向带偏。