AI秒选图结构答案：Jev邻接判断满分，全局推理露短板

快问快答的游戏不少人玩过：主持人一出题，三秒内就得按铃，来不及细想，全凭直觉。

换成AI来玩呢？题目全是图的结构问题——“这两个点之间有没有边”“这张图里有没有环”“删掉这个点会不会让图断开”，它会交出什么答卷？

一篇新论文就想把这件事弄清楚。研究者把这类“秒选型”AI模型统一称作系统一模型。

所谓系统一模型，就是不经过复杂思考、直接从给定选项里挑答案并返回概率的AI决策模型，论文里提到的Jev是典型代表。这个叫法借自心理学里的“系统一/系统二”：前者是直觉反应，后者是慢思考。

这类模型生来就是为快速、重复地做选择，比如规划路线时每走一步都要选下一个点，需要模型一遍遍做决策，而不是每次都长篇推理。问题是，“跳过思考直接选”这套本事放到图结构这种要逻辑推理的任务上，到底靠不靠谱？此前没人仔细测过。

论文要填的正是这个空白。研究者搭了一套评测体系GraphDecisionBench，专门用来拷问系统一模型在图任务上的真实水平。

先说清楚图是什么，以及它为什么难倒AI。

图这种数据结构由“点”（节点）和“边”（连接关系）组成：社交网络里人是点、朋友关系是边；论文引用网络里论文是点、引用关系是边。

图看着简单，里面却埋着不少“陷阱”。问AI“两个点之间有没有边”，这是最基础的问题，看一眼邻接关系就知道。可一旦问“这张图里是不是存在一个环”，难度立刻上去——AI得在脑子里把整张图的连接路径都过一遍，判断有没有一条路绕一圈能回到起点。

打个比方：站在岔路口判断“眼前这条路通不通”很容易，低头看一眼就行；但要判断“整个小区的路网里是否存在一条环形路线，能让你绕一圈回到原点”，就得把整张地图在脑子里过一遍，记住每条路通向哪。这完全是两种难度的认知任务。只会做前者、不会做后者的AI，放到实际导航规划里就会频繁翻车，因为真实世界的路径规划几乎永远需要“绕圈检测”这种全局视角。

这篇论文把结构判断题分成六类来设计：两个点是否相邻、某个点究竟连出几条边（精确度数）、图里有没有环、给定的两点通不通、两点之间的最短距离是否处于某个区间内，以及某个点删掉后会不会把图拆成几块，也就是它算不算“关节点”。

测试用的子图抽自四个不同来源的真实数据：Facebook的社交网络数据、学术合作网络ca-GrQc、电网拓扑数据，以及人类蛋白质相互作用网络。每个来源抽取8到12个节点大小的子图，一共准备了800道题。

测试结果既让人意外，也不意外。

论文重点研究的Jev模型，在邻接判断上拿到满分100%，环检测、连通性、距离判断也表现不错，都在85%到90%之间。

这个落差说明什么？“认得出眼前这条边存在不存在”和“数清楚一个点到底连了几条边”根本不是一回事。前者只需要查表；后者得把所有相关的边都数一遍，还不能数漏、数重。

如果AI真被拿去分析网络拓扑，这种“认得清局部，数不清全局”的毛病意味着什么？它可能准确判断两台服务器是否直连，却可能数错某台核心路由器实际承载了多少条连接。而这种计数错误，恰恰是运维决策里最致命的。

更有意思的是，与Jev同类型的其他几个“秒选”模型，表现差异巨大。

这就像两个人都说“我选A”，一个可能是认真算过的，另一个纯粹是蒙的——外表看都是“做了个选择”，内核完全不同。

当文字遇上关系网，AI该信谁的？

图结构判断测完，研究者又抛出了第二个问题。

这个问题在现实中特别常见。比如你在整理一批论文，想把它们分到合适的学科类别：可以读标题摘要，也可以看这篇论文引用了谁、被谁引用，靠“近朱者赤”的逻辑推断学科归属。文字内容、引用关系，还是两者都用，到底该信哪个？

论文为此做了个很细致的设计，叫匹配条件对照。

匹配条件对照，指严格控制其他变量不变，只改变“是否提供文本信息”或“是否提供关系边信息”这一个变量，从而单独测出这个信息来源到底有没有用。

具体来说，他们设计了五种输入条件：只给文本（T）；只给关系边（G）；文本加关系边都给（TG）；去掉边但保留文本和周边节点信息的消融版本（BAG，全称是边消融联合输入）；以及啥额外信息都不给、只给基础标签锚点（A或A*）。

这套设计的好处，是把“关系信息究竟起没起作用”单独剥出来看，不会因为多加了信息、同时也多出别的变量，就把结论搅成一锅粥。

测试选了两个数据集：一个是 ogbn-arxiv，做四十分类的论文学科分类；另一个是 STaRK-Prime，做生物医学实体检索。

结果挺耐人寻味。

在 ogbn-arxiv 上，Jev 只给标签锚点时准确率是 51%，加上关系边之后升到 61%，整整涨了 10 个百分点，关系信息有用，这点没跑。可如果已经有文本再加边（也就是拿 TG 和 BAG 对比），准确率只从 57% 爬到 58%，多出 1 个百分点，这个差距小到统计上几乎看不出显著性。

也就是说，什么都不给的时候，关系信息价值很大；文本已经把话说清楚了，边再添的那点贡献就变得很模糊。

打个比方：想猜一个陌生人的职业，完全不认识他时，打听他平时跟谁来往会很有帮助；可你手上已经捏着他的简历，再去打听社交圈子，能带来的新信息就没多少了，关键内容简历本身可能已经盖住了。

更意外的是，同类型的 Kev 模型在这个任务上表现出的脆弱性恰好相反。

这说明“信息越多越好”的直觉在 AI 身上根本不成立，有些模型见到额外文本反而被干扰。具体是什么机制造成的干扰，论文里也没有定论，只能确认这事确实发生了，而且不同模型身上的表现完全不同。

再看 STaRK-Prime 这个检索任务，Jev 在 T、G、TG 三种条件下的命中率分别是 48%、47%、49%，几乎没差别，置信区间都包含 0。也就是说，在这个任务里，现有证据不足以说明关系信息带来了任何清晰的增量好处。

论文的结论很克制，也很诚实。它没说“关系信息没用”，也没说“文本信息没用”，而是说这件事必须针对具体模型、具体任务去验证，不能一概而论。这种谨慎本身，其实比一个简单粗暴的“结论”更有价值，因为它提醒我们，任何“加信息就能提升效果”的直觉，都得经过实证检验才能信。

让 AI 连续做选择，拼出一条完整的路

前两部分测的是“单次判断”，第三部分研究者们玩得更大，他们要看 AI 能不能连续做出一系列决策，最终拼出一个完整的解决方案。

放到现实场景里，这几类任务分别对应：旅行商问题——要设计一条把全部城市走遍、最后回到出发点、总距离还最短的路线；图的二分最大割问题——把节点分成两组，使跨组“冲突边”的权重之和最大；影响力最大化问题——挑两个人当传播源头，让最终被影响到的人数尽量多；模块度最大化问题——把网络节点划成若干社区，让社区内部连得紧、社区之间连得松。

这四项任务有一个共性：模型得一步步往下走，每步挑一个动作，直到整套方案成形。前面那种“答完一道题就收工”的测试跟它完全不是一回事，这里看的是模型能否把一连串局部选择凑成一个整体上够好的解。

研究者设计了两种构造方式。第一种是直接构造，把所有合法的下一步动作一股脑摆到模型面前，由它自己挑；第二种叫启发式提案选择，先由四条固定规则各推一个候选动作，去重之后再交给模型从中选。

所谓启发式提案选择，就是不让模型一上来就面对全部选项，而是先用几条经验规则筛出几个“看着还行”的候选动作，模型再从这个缩小的候选池里挑一个。

测试结果揭示了一个很扎心的事实，Jev 能把整个方案走完（也就是构造出一个合法完整的解），但走完不代表走得好。

旅行商问题上，Jev 用直接构造模式跑完了全部 10 张测试图，可平均路线长度比最优解多出 59.66%。换句话说，最优路线若是 100 公里，Jev 规划出来的平均要跑到 160 公里上下，绕了不少冤枉路。

二分最大割问题上的表现更离谱：Jev 的平均目标值几乎为零，而对照组什么都不做（把所有点归到同一组）同样是零。也就是说，Jev 的直接构造策略跟“什么都不做”没多大实质差别。

打个比方，这就像让人照着积木拼乐高：块都摆在那儿，每一步往哪拼也有提示，他确实把整个模型拼完了，成品也算“完整”，可歪歪扭扭、结构松散，跟说明书上的样子差得远。完成度和质量，压根是两回事。

那加了启发式提案之后呢？效果立刻好转。Jev 在旅行商问题上的误差从 59.66% 降到 25.87%，在最大割问题上从 99.96% 降到 9.05%，在影响力最大化问题上（只算两种模式都完成的那 8 张图）从 52.84% 直接降到 0.50%。

可见有了候选池托底，Jev 的选择确实变好了。不过论文紧接着给出了一组更关键的对比：跟固定规则本身相比，Jev 到底有没有真的更聪明？

答案是，看情况。在旅行商问题上，Jev 的 25.87% 跟表现最好的那条单一固定规则（25.86%）几乎一模一样，但比另一条叫“返程预留”的规则（15.58%）还差一截。在最大割问题上，Jev 的 9.05% 比随机从候选池里选（82.72%）好太多了，但比表现最好的“贪心补全”规则（8.87%）略差。在影响力最大化问题上，Jev 反而比固定规则表现更好，8 个完成的样本里，Jev 的误差是 0.50%，比随机候选（21.91%）和经典方法（6.84%）都要低。

这组对比揭示的问题很值得琢磨：靠外部提案变强，不能直接等同于模型自己变聪明了。很可能提案早已把好答案送到眼前，模型只是没把它搞砸而已。好比考试时老师给你划了重点，你考得比平时好——是你复习到位了，还是重点本来就押得八九不离十？这两种可能得分开看，不能混为一谈。

论文还做了个更极端的验证：换上更强的大模型，比如推理能力更突出的GPT系列，拿来做对照。结果是，模型越强，有了提案辅助之后表现反而往下掉。原因在于提案池把可选动作的范围框死了，对那些本来就能自己规划出好方案的强模型来说，这种框定成了束缚。这也说明，"提案辅助"能带来多少价值，跟被辅助对象自身的能力水平关系极大。

评测体系为何要如此较真

读到这里难免会问：何必搭这么复杂的对照组，直接测个总分不就完了？

这恰恰是论文最想表达的态度。只给一个总分或者最终目标值，很多关键差异都会被抹平。拿Jev来说，只看它在图结构任务上的"平均分"，就看不到它邻接判断拿了满分、度数判断却只有六成多；只看节点分类的"总准确率"，就分不清关系信息到底起没起作用；只看旅行商问题上"10张图全部完成"，就发现不了它的路线质量其实很差。

这套评测体系的做法，是把每个容易混在一起的问题单独拎出来验证。认不认得出某条边，跟能不能判断整体结构，不是一回事；加了信息之后准确率上去了，跟模型真的用上了这条信息，也不是一回事；靠外部提示把成绩抬起来，跟模型自己变强了，同样不是一回事。

这种拆开来看的思路，放到评价任何一个AI系统上都成立，甚至评价一个人也一样。有人自称"数学很好"，那就得追问：是代数好还是几何好，算得快还是证得严？笼统的夸奖，往往把真实的强弱分布盖住了。

论文也坦承了这套评测的短板。用到的图都来自公开数据集，规模不大，8到12个节点，旅行商问题最多225个城市，更大规模或者动态变化的图没测过。比较的对象是"模型加接口"这个整体，没法把"模型架构强"和"接口设计好"拆开算账。启发式提案本身同时动了好几个变量——候选动作、特征，有时还强制走某条路，所以究竟是哪个因素在起作用，说不清楚。

这些局限，研究者都明明白白写进了论文，没有回避。这份坦诚本身也值得肯定。

写在后面

整篇读下来，最有意思的地方是它把"AI会不会做选择"从一个大而化之的能力问题，拆成了一串能测量、能对照的小问题。这套拆解思路，比任何单个实验数字都更让人记得住。

另一点让人印象深的是，论文反复讲"完成了不等于做好了"。旅行商问题的实验把这层意思摆得很清楚：Jev把10张图的路线全规划出来了，一张没漏，可平均多绕了六成的路。单看"完成率"，会觉得这模型挺稳；把"完成率"和"质量"分开看，问题才浮出来。这种看法能搬到很多地方——项目"交付了"，不等于"交付得好"；谈判"达成了"，不等于"达成得划算"。

论文里还有个细节值得单独拎出来说，就是影响力最大化任务中举的那个小例子。

没解决的问题也摆在那里。启发式提案帮忙，到底是因为"选项变少了"，还是因为"候选动作本身质量更高"？这两种可能眼下还分不开。要是能讲清楚，对设计更好的人机协作决策系统会有不小启发——现实里不少场景，说到底都是"系统提建议，人或AI拍板"这个结构。

Q&A

Q1：GraphDecisionBench是什么？

A：GraphDecisionBench是一个不绑定具体模型的评测基准，专门考察Jev这类"系统一"选择式AI在三类任务上的真实水平：图结构判断、图文信息结合的决策，以及图上的连续决策构造。

Q2：Jev在图结构判断任务上表现怎么样？

A：邻接判断上，Jev做到100%准确；环检测、连通性、距离判断也有85%到90%的表现；但精确度数判断只有67.8%，关节点判断只有61.2%。可见它的结构认知能力并不均衡。

Q3：给AI加上关系信息一定能提升它的决策效果吗？

A：不一定。论文发现，关系信息能起多大作用，跟具体模型和任务关系很大。比如Jev在只有标签锚点时，加边能提升10个百分点；可已经有文本的情况下再加边，提升幅度几乎可以忽略，有些模型加了文本反而更差。