军事任务分析AI实测:62分都够不到,25.9%概率踩雷
你有没有想过,一个军官要花一周时间才能写完一份作战分析报告?这不是夸张。真实的军事行动分析,需要一个参谋团队把成堆的情报文件、作战命令、地图资料嚼碎了消化,然后吐出一份结构化的判断:敌人想干什么,我们能干什么,哪些是事实哪些是猜测,还缺什么信息才能做决定。这个过程在美军联合作战计划流程里有个专门的名...
一份作战分析报告,军官得写上一整周,这事你想过没有?
这并不夸张。放到真实的军事行动里,分析工作需要一批参谋凑在一起,把大量情报文件、作战命令、地图资料反复消化,最后拿出一份条理清楚的判断:敌方意图是什么,我方能力有多大,哪些属于事实哪些属于推测,还差哪些信息才能拍板。在美军联合作战计划流程中,这个环节有专门叫法——“任务分析”。它不负责给方案,只负责把问题讲明白。可一旦这一步出了错,往后的作战计划就会一路错下去。
那换成AI来做,会是什么结果?
来自Scale AI和Data Machines的研究团队,就想把这个问题弄清楚。他们做的事情挺硬核:造了一个叫
这个数字究竟意味着什么,我们慢慢说。
难点到底在哪
有件事得先讲明白:这道题没有标准答案。
让AI做数学题,2+2=4,算错就是算错。军事任务分析不是这样。两份分析报告措辞完全不同,可能都算合格,只是各自侧重不同。想靠“跟参考答案像不像”来打分,根本行不通。
好比让两个厨师做同一道菜。你不该要求他们摆盘、调味比例分毫不差才算过关,真正要看的是:该放的关键调料有没有落下,该避开的致命问题(比如过敏原)有没有出现。摆盘好不好看,其实无关紧要。非要按“像不像参考答案”打分,两个风格不同但都做得不错的厨师可能双双被判不及格,反倒是一个照抄菜谱、手法粗糙的厨师拿了高分。传统那套“文本相似度”评测办法,在这里派不上用场,原因就在这儿。
研究团队的办法是:文字写得多漂亮不管,只看报告里该做的判断有没有做出来。
他们设计了十个虚构但高度贴近现实的军事危机场景,每个场景配上十到十二份文件,涵盖战略背景、情报简报、作战命令、法律附件,字数从三万多到二十四万多不等。随后,专业军事规划人员针对每个场景写出一份详细
评分清单
这1257条规则并非随手拟定。每条都得过六道关:只测一件事(不能把两个要求并成一条)、答案非黑即白、能直接在提交的报告里核查(不管写报告的人当时怎么想)、有明确的文档或条例依据、不翻原始文件也能判断对错,还不能和别的条目重复。研究者举过例子:原始要求若是“保护基础设施并遏制破坏”,必须拆成两条独立检查项,不能图省事合成一条问。
难度分成三种:看得见的和看不见的
这份
第一层叫
拿一个具体场景来说。“海湾卫士”讲的是美国总统宣布在古巴海岸设禁飞区以保护平民,同时另有一个“政权更迭”的后续计划被暂时搁置,等着最高指挥当局批准。这里有个
这道题的答案,文件里一个字都没写。文件只是分别讲了两件事,两者之间的矛盾关系并未点破。能不能看出这一层,考的是参谋级的判断力,跟信息检索不是一回事。
好比让你读两份互不相干的会议纪要:一份说公司决定给某位老员工升职加薪,另一份说公司正在悄悄调研这个岗位要不要外包。两份纪要单看都没毛病,可你作为旁观者得自己反应过来,这两件事摆在一起会很尴尬,会打击士气,舆论口径上得小心处理。把两件事凑到一块儿看出矛盾,这种本事比读懂每一份文件难得多。若不单独测它、只测信息提取,AI看上去会表现不错,实际离能用还差得远——它压根不知道自己正踩在雷区上。
结果如何?三层难度上,AI的成绩呈现出一条清晰的递减曲线。
正向与负向两类考题:既要会说,也不能乱说
评分清单里还藏着一个反直觉的设计:有些题是反着问的。
多数评分条目属于“正向”,问的是报告有没有做出某个该做的判断。另有一类“负向”条目,专门列出具体的“不该犯的错误”,报告一旦犯下就扣分。比如有条考题专门查:报告有没有把一个“中等可信度的情报归因”当成“已确认的事实”来处理。原始情报文件里写得清清楚楚,这是跨源交叉评估,不是定论;AI模型要是把这种不确定性抹掉,写成“确定是某国代理人发起的攻击”,就是一个要扣分的实质性错误。
这么设计的道理是:信息不全不可怕,乱下结论才可怕。报告漏掉某个判断,顶多算不完整;可要是把不确定的东西说成确定的,就会直接误导决策者。两者严重程度差着量级。
针对这两类错误,研究团队设了不对称的分值。重要缺失的扣分权重为正,从+2到+9不等,对应漏掉该判断对分析造成的伤害程度。“不该犯的错误”则是负分,-5到-9,而且这笔扣分不会被别处的得分抵消。换句话说,报告就算在九十个地方做得完美,只要在一个关键点上把猜测说成事实,负分照样实打实扣下去。
这就像开车路考。考官不会因为你倒车入库练得滚瓜烂熟,就抹掉你闯红灯的扣分。闯红灯这类致命错误单独算账,侧方停车再漂亮也换不回来。评分规则若不这么设,AI完全可能靠在简单题上堆一大堆正确答案,把一处致命事实性错误的扣分“冲”平——真实的军事决策场景里,这绝对不能接受,因为一个被当成确凿事实的猜测,可能把整个作战计划带偏。
实验结果显示,“致命错误”确实在发生。四千多个负向考题的检测中,AI模型平均有25.9%到28.3%的概率真踩进陷阱,大约每份报告会犯三到五次这类错误,其中两次左右属于最严重级别。而且,在“写得很直白的文件陷阱”上,这个错误率更高,达到35%,比需要推理的陷阱(21%)还高。这说明AI并非不会推理,而是在面对那些写得过于确定、容易被直接采信的文字时,反倒更容易放松警惕,把不确定的描述当成板上钉钉的事实。
打分这件事由谁来做:让AI评判AI,可信吗
绕不开的疑问是:答案本身没有唯一标准,那AI交上来的报告到底合不合格,该由谁定?
研究团队的办法,是再找一个AI模型来当裁判。做法是把评分清单和AI生成的报告一并交给一个推理能力很强的模型,让它逐条打分,返回时只列出没通过的条目,通过的条目不显示,免得裁判图省事一路放行。这个裁判全程看不到原始文件包,只能依据评分清单里附带的“标准答案”和“通过/失败条件”作判断。评分标准因此是统一的,裁判对场景理解上的偏差也就影响不到结果。
可这么一来,更根本的疑问又冒出来了:AI当裁判,靠得住吗?
研究团队没有直接采信AI裁判,而是单独做了一轮验证:请四位有专业军事教育背景的规划人员各自独立地给190个评分条目打分,再比对AI裁判与这四人的意见是否一致。结果显示,四位专家之间的一致程度(用一个叫Fleiss kappa的指标衡量)和AI裁判与专家之间的一致程度差不多。
也就是说,AI裁判出的“错”和人类专家出的“错”属于同一类型、同一量级。它并非乱打分,判断水平大致相当于一名合格的参谋人员。
研究团队还换用另外两家公司的模型重新打分,看换裁判会不会让结果大幅变动。其中谷歌的模型重评了全部1050份报告,与原裁判的一致率达到84%,排名相关系数也保持在较高水平。
这好比请三位不同餐厅的主厨来评同一场厨艺比赛。三位给出的名次排序高度一致,那这个名次大致反映的就是选手真实水平的差异,而不是某位主厨个人口味的随机起伏。少了这层交叉验证,整套评测的可信度就站不住:读者完全可以说,这个排名也许只是裁判恰好偏爱某几家公司的技术风格。
二十个模型的成绩单:谁考得好,谁考得差
方法论交代完,该看结果了。
被测试的是二十个主流AI模型,闭源开源都有。排第一的是Muse Spark 1.3,正确率62%,加权得分0.574;Grok 4.6(0.540)和Claude Opus 5(0.514)跟在后面。开源阵营里成绩最好的是GLM-5.3,得分0.505。垫底的是Gemma 4 31B,只有0.302。
0.30到0.57,这个区间看着跨度不小。但研究团队提醒,每个模型的置信区间宽约正负0.08,排名中间挨得近的模型其实分不出高下,只有最前和最后那几个,差距才真实存在。
更值得琢磨的是,模型得分与它背后的参数规模、算力投入之间,并没有呈现出简单的正相关。
还有个细节挺有意思:Claude Fable 5.1的得分区间格外宽,原因不在判断力忽高忽低,而是它在两个场景里直接被判定为无法完成。
AI到底强在哪,又弱在哪
把各模型的表现拆到军事任务分析的十二个具体步骤上看,一个清晰的模式浮了出来。
AI模型在“描述现状”这类步骤上普遍拿分较高。
表现最差的,则是“预判局势走向”以及“据此提出决策建议”这类步骤。
两相对照,揪出一个很根本的问题:AI擅长描述现状,却不擅长判断局势会往哪个方向走,以及这个方向会逼出什么决定。
这就像让一个新来的助理去读一堆往来邮件再汇报。谁说了什么、截止日期是哪天,他能准确复述,这些都没问题。可你问他,根据这些邮件老板接下来最可能面临什么两难选择、还缺哪个关键数据才能拍板,他往往就说不清了。这不是记忆力的事,是经验和判断力的事。军事任务分析里最核心、最有价值的部分,恰恰就是这种“往前看”的能力。AI在这上面持续薄弱,那它顶多是个很称职的文件摘要员,离真正辅助决策还有距离。
研究团队还细拆了失败原因。三万一千多个失败考题里,60.2%属于彻底的遗漏——该说的话根本没说;只有1.6%是内容本身出错或缺乏依据。这个比例在不同模型、不同难度层级、不同重要程度上几乎不变。
这个发现有点扎心:只检查AI写的东西里有没有错误句子,会错过绝大多数真正的问题。问题不在“写错了”,而在“没写”。一份报告读起来流畅、专业、逻辑自洽,偏偏漏掉一个最关键的判断——这种缺陷,用传统“查错”的思路完全抓不出来。
篇幅限制和算力投入:多想一会儿有用吗
团队另外设计了几组对照实验,考察篇幅限制与AI"思考时长"是否会左右得分。
他们给所有模型设了三千字的篇幅上限,依据是真实参谋报告差不多就这么长。放开限制后,几乎所有模型的分数都往上走了,GPT-6 Astra从0.485升到0.562,多了0.078分,篇幅则扩张到原来的三倍。可见模型肚子里知道该写的东西其实更多,是三千字这道线逼它做选择,而这种取舍本身就是能力的体现——现实里也没人会把报告写成几千字。
不过写得长不等于分高。输出最长的Gemini 3.8 Flash平均写了5200字,得分只有0.371,反倒不如从未触到篇幅上限的Qwen3.8-Max(0.410)。堆字数填不上判断力的窟窿,写得多不代表说得对、说得全。
研究团队还调整了几个模型的"思考时间",想看多想一会儿有没有用。
这倒让人想到一件事:我们常以为多给AI一些思考时间就能解决问题,好比让新手多琢磨几遍就成专家。可有些能力上的差距,不是多耗几分钟能补的,它要的是真正理解局势怎么演变的经验——这恰好是眼下AI模型最缺的。
写在后面
读完这份研究,真正打动我的不是那个62%的数字,而是团队为何要把"遗漏"和"错误"拆开单独统计。
这戳中了一个平时容易被忽略的评测盲区。我们总觉得检查AI输出就是挑错,找那些写歪的、编造的、不合逻辑的句子。但论文用数据说明,在这类复杂分析任务里,六成问题压根不是"写错了",而是"该写的没写"。这种缺陷在读的时候几乎隐身:一份报告读来流畅自信,偏偏缺了最该有的那个判断,普通读者根本看不出毛病在哪,只有拿1257条清单逐条核对才能揪出来。
顺着想,还有个更大的问题:如今评价很多AI产品,方式也常常停在"有没有写错"这一层,比如事实核查、逻辑一致性检查。可要是一个任务的核心价值在于覆盖全不全、该想到的有没有想到,这种评法可能一开始就抓错了重点。
另一个让我反复琢磨的细节,是AI模型在"描述现状"和"预判决策"两类任务上的巨大落差。落差背后或许指向更深一层:现在的大模型,说到底是靠海量文本学"事情是怎样被描述的",而不是学"身处局势之中的人该怎么往前看"。描述现状是对已有信息做加工整理,AI越做越好;可预判局势往哪走、什么决定即将被逼出来,需要的是代入决策者位置的推演能力,而这种能力在训练数据里几乎找不到现成的"标准答案"可供模仿。
论文测的是军事领域,但这个落差恐怕不止于军事。凡是需要"从现状推演下一步该做什么决定"的工作,可能都会撞上同一堵墙。
墙什么时候能被打穿,也许要看AI究竟在学"怎么说话",还是在学"怎么思考"。
Q&A
Q1:
A:
Q2:
A:成绩最好的是Muse Spark 1.3,正确率62%,加权得分0.574,Grok 4.6(0.540)和Claude Opus 5(0.514)跟在后面,二十个模型整体看没有一个接近满分。
Q3:AI在军事任务分析里为什么表现不佳?
A:研究显示,AI模型最大的毛病不在写错内容,而在大量遗漏该说的判断,六成失败属于彻底遗漏。复述文件里已写明的东西,AI很拿手;可一旦要预判决策、推理隐藏矛盾,表现就明显掉档,正确率仅33.4%。