网络控制系统自称“我批准了”:139篇论文被查出证据缺口

资讯 网易科技 作者:网易 全文 5846 字 · 约 15 分钟读完 配图 1 张

sina qqZone renren ydCloud 0

网络控制系统自称“我批准了”:139篇论文被查出证据缺口(配图 1)

客服机器人秒回你,答案看着像那么回事,可等半天问题还是悬着——这种经历估计不少人有过。一篇最新论文盯上的正是类似现象,只是它把场景换到了更硬核的地方:网络控制系统。

电信运营商想把某个服务迁到边缘节点,或者要恢复一条断掉的路由,这类请求现在越来越多地交给语言模型来理解。你说一句话,它回你一个格式工整、看着挺专业的答案。可这个答案究竟对不对、来得快不快、有没有真的被执行?

研究者翻了139篇相关论文,结论有些让人不安:大多数声称能嵌入网络控制循环的智能决策系统,并没拿出真正对得上的证据。

一、难点究竟在哪

先把场景说清楚。网络控制器接到请求,一般要走几个阶段:弄明白这个请求想干什么,核对当前网络状态和可用资源够不够,之后才把任务交给执行层去跑。

论文给这套流程取名“语义决策引擎”,其中常被提到的代表叫Jev。

语义决策引擎:接收自然语言或半结构化请求、输出网络动作决策的系统组件,可基于规则、求解器或语言模型实现

这里存在一个根本性矛盾。网络控制本身的时间窗口卡得很死。论文提到,开放无线接入网(O-RAN)中的近实时控制器,典型工作窗口为10毫秒到1秒。

近实时控制器承担毫秒到秒级的策略调整,是 O-RAN 的关键一环:这种开放式无线接入网络架构把过去封闭的基站设备拆解为可互操作的标准化模块。

10毫秒到1秒,乍看挺宽裕。可这段时间里要跑完状态采集、通信、决策、控制、观察一整条流程,真正分给决策的或许只有几十毫秒。

论文实测出的情况是,不少决策引擎就算能“答对题”,单是“想”这道题花掉的时间,就已经占去大半预算。更麻烦的一点在于,学术论文汇报性能时通常只测孤立的单次请求,真实业务压力下请求排队的情形并没测。

打个比方,一个外卖骑手平时送一单测下来15分钟,看着挺快。高峰期20个订单同时压过来,他得排队取餐、排队等电梯,送到你手上要多久?可能两个小时。平台若只拿“单次送单15分钟”来承诺时效,那从第一单起承诺就是假的。真实世界里,订单从来不会一个一个孤立出现。

论文实测的数字比这例子还夸张。一个0.5秒的决策,孤立测试时300次请求全都能在10秒预算内完成。换成真实业务压力,每秒4.992个请求到达,同样的决策300次里一次都没完成,中位数变成233.749秒。达标率从100%掉到0%,差的不在模型能力,而在“有没有把排队算进去”这一个维度。

二、研究者做了什么:给139篇论文“验尸”

这篇论文最硬核的地方,倒不是提出了什么新算法,而是干了一件“侦探”式的活:系统审查139个论文家族(同一研究延伸出的多篇论文算一个家族),看它们究竟在哪些环节上说了却没证明。

他们搭了一套三轴分类体系。第一轴是决策接口类型,分为选择、生成、确定性计算三种。

选择型:从一组已有候选项里挑出一个答案,比如在几条候选路由里选出最优的

生成型:造出此前不存在的新内容,比如直接生成一段配置代码

确定性计算型:用规则、求解器或验证器去计算或验证某个条件

第二轴是执行路径,区分决策是离线准备的还是真实请求驱动的,以及它在整个控制链路里由谁消费。第三轴是检查责任归属,即谁负责核实“这个状态观测对不对”“这个方案可行不可行”“候选集里有没有合适的选项”。

为确认这套分类不是拍脑袋定的,研究团队找了两家不同家族的语言模型(一个GPT系,一个Claude系)背靠背重新编码全部论文,看结果能否对上。这个过程本身就挺有意思:他们还做了“盲测二次筛查”,把先前初筛淘汰的111篇论文重新拿出来,用两个独立模型再筛一遍,结果捞回了7篇原本被错误排除的论文。

这像什么?像阅卷。学校怕某位老师看走眼,又找一位完全不认识前一位老师、也不知道他打了多少分的老师重改一遍卷子。两人给分差太远,说明评分标准本身有问题,这时就不能简单采信任何一方,得坐下来对答案,弄清争议出在哪。

交叉验证的结果也挺诚实。碰上“这篇论文有没有提到时间预算”这类客观问题,两个模型的一致率能到九成以上。可换成“这篇论文有没有交代运行负载”这种需要深度理解上下文的题,一致率只有27.9%。论文审查本身也有难度,不是所有标准都能轻松复现。

三、三个关键缺口:时间、负载、检查权

论文审查完,几个贯穿始终的系统性缺口被揪了出来。

第一个是时间节点没说清。139个论文家族中,有50个明确声称自家引擎能适配某个控制循环或时间预算,可真正拿出匹配测量证据的只有4个。差距不是小瑕疵——接近90%的声明没有兑付测量依据。

更关键的一点,研究者发现:一个决策算不算"快",得看你在哪个节点上计时。为此论文设计了一套统一的事件模型,把整条链路切成几个关键节点。

决策返回点:模型给出初步答案的那一刻。

执行确认点:控制器把动作真正提交给网络设备、设备回执确认的那一刻。

验证结果点:网络状态真正按预期改变、并被探测确认的那一刻。

这三个点之间,差距可能很大。论文的传输层实验里,一个0.5秒的决策延迟占到"执行确认"所需时间的91.9%,可放到"验证结果"所需总时间里只占47.2%。只盯着模型多快给出答案,就会严重高估这个决策对整条链路的实际影响——设备确认、状态真正落地,后面还有大把时间要花。

打个比方:你问导航软件"从A到B要多久",它回你"计算路线只要0.3秒"。这话技术上没错,但你关心的是从出发到抵达要多久,那0.3秒放在两小时车程里根本不值一提。导航软件若拿"计算只要0.3秒"宣传自己"快",就是偷换概念。

第二个缺口是负载条件缺失。139个家族里,报告过95百分位延迟(最慢的那5%有多慢)的只有9个,报告过严格意义上"按时完成率"的只有4个。

所谓95百分位延迟,是把所有请求的响应时间从快到慢排好,取第95%位置的那个值,用来衡量"大多数情况下的最坏表现",比单看平均值更能反映真实体验。

这个缺口直接催生了论文的第二组实验,专门验证"负载能把系统拖垮到什么程度"。前面那个"孤立测试100%达标、真实负载下0%达标"的例子,就出自这里。

第三个缺口是检查责任不明。论文定义了三种关键检查:状态观测检查,看现在的网络到底是什么状态;可行性检查,看方案能不能真的落地、会不会撞上资源配额或冲突约束;覆盖检查,看候选集里有没有真正合适的选项,没有又该怎么办。

论文发现,在那些"决策环节里没有确定性计算步骤"的论文家族中,这三种检查归谁管特别模糊。72个这类家族里,只有2个说清了"覆盖检查"到底归谁。对比之下,67个含有确定性计算步骤的家族里,说清覆盖检查归属的有11个。

这一对比揪出一条规律:决策过程里若没有一个可以被公式化、被验证的计算环节,检查责任就容易变成说不清的黑箱。

四、三个反转实验:同一个系统,换个条件就变了另一副面孔

光指出问题还不够。研究团队设计了几组对照实验,真刀真枪地验证"这些缺口会不会真的改变对系统可信度的判断"。

第一组叫"检查权转移实验",测的是同一个叫Jev的决策引擎,在"候选集里压根没有合适选项"时的表现。实验分两种场景:一是"合同缺少候选方案",二是"路径规划里找不到可行路线"。

结果很有戏剧性。"合同缺少候选方案"的48个案例里,Jev有45个正确地请求了新候选方案,成功率接近94%,表现出色。可换到"路径不可行"的120个场景,它只在4个场景里正确提出"升级处理"请求,成功率仅3.3%。

同一个模型,同一类"覆盖缺失"问题,换了个应用场景,成功率从94%掉到3.3%。"这个系统具备候选覆盖检查能力"这句话,严重依赖具体是哪种任务,不能一概而论。

这就像一个保安,在小区门口认出每个业主的本事特别强,准确率94%;换到商场里让他识别可疑人员,判断力立刻掉到3%。只看他在小区门口的表现,就断定他"安检能力很强",再把他调去机场,后果可想而知。能力不是一个单一分数,它绑定着场景。

第二组叫"工作流重设计实验"。研究者对比了"模型自我检查"和"公开门禁式工作流"两种模式下同一批模型的表现差异。后者不依赖模型自己判断对错,而是在系统外部设一道独立检查环节,所有输出必须先过这道门才能生效。

结果显示,给Jev配上这道独立门禁后,它在"独立配额"场景下的正确率从29/120升到84/120,提升了45.8个百分点。不过研究者也坦言,这个实验同时改动了指令、刷新机制和检查归属三个变量,反映的是"整体工作流重新设计"的效果,不能简单归因为"加一道检查就行了"。

而且这种改进有前提。涉及"共享配额"——也就是多个任务要抢同一份有限资源——的场景时,一种"分阶段各自检查"的规则方法反而会失效,因为它处理不了跨任务的联合核算问题。这揪出一个更深的矛盾:局部正确不等于全局正确,指望每个环节各自把好关,并不能自动拼出一个整体正确的系统。

第三组实验测的是结构鲁棒性,看的是任务变复杂之后系统性能怎么往下掉。合同要填的字段从4个加到8个,Jev的精确匹配正确率就从277/300降到173/300,92%变成58%,掉了34个百分点。

另一个场景更极端:请求里的约束条件从4个增到64个,Jev的正确率由89.2%跌到39.2%,50个百分点没了。

这里头有个容易被忽略的事实。不少论文测模型能力时,样本结构都偏简单。把输入复杂度提到真实业务可能碰上的水平,表现就断崖式下滑。这不能算模型“偶尔犯错”,更像是系统性能力边界提前露了出来。

五、解法:一份最低汇报清单

发现问题之后,论文没有停在“揪茬”上,而是给了一份具体的操作建议,叫“最低汇报记录”。思路很直接:每个网络决策环节都该把几件事记清楚。

头一件,计时边界到底指哪个节点——决策返回、执行确认还是验证结果,三者不能混着说。第二件,每项正确性检查都要带明确的分母,也就是交代清楚“这个检查一共测了多少个案例,通过了多少”。第三件,必须报告系统在真实到达负载下的表现,不能只报孤立请求的表现。第四件,要有一个非学习型的对照基线,拿传统规则或求解器来比,证明新系统究竟好在哪里。

论文还提了几条设计原则,其中一条最该记住:“在控制器里计算联合可行性”。意思是说,资源配额、约束冲突这类需要严谨核算的环节,别指望语言模型凭直觉给出靠谱答案,该交给确定性的调度器或求解器去算。语言模型管的是理解“用户想要什么”;“这个方案到底行不行”这种有明确对错的问题,则交给能保证正确性的计算环节。

六、这篇论文带来的后续影响

这项研究还很新,但它提出的评估框架已经和另外两项研究对上了。论文反复引用的“边缘服务编排研究”和“6G开放无线接入网研究”,都是同一批作者2026年发表的姊妹论文,三者共用一套事件模型和检查门体系,凑成了一套完整的评估工具链。一套方法论支撑多篇论文,这种做法本身说明团队是把这套评估标准当可复用的基础设施在打磨,不是为单篇论文临时拼的实验设计。

论文最后留的开放问题也挺有意思。怎么证明一个候选集合真的覆盖了所有可能需要的答案,什么时候该构造全新的候选而不是硬选一个不合适的,这些目前都没有标准答案。还有跨域意图的仲裁:多个请求同时争同一份资源,谁该让步、谁该优先,这不只是技术问题,也牵涉权限和责任划分。

写在后面

读完这篇论文,最让我意外的不是哪个具体实验数字,而是“审查论文的论文”这种态度本身。它没有去发明一个更强的模型,而是回头质问整个领域:我们到底有没有资格说“这个系统够快、够靠谱”。

这让我想起一件事。技术宣传里常说“模型准确率达到95%”,但很少有人追问,这95%是在什么条件下测出来的,是不是孤立测试,有没有考虑排队和并发。这篇论文把这个追问做成了系统性的审计流程,审计结果也相当打脸:139篇里只有4篇经得起这种追问。

另一个让我反复琢磨的细节是,那72个“决策里没有确定性计算步骤”的论文家族,检查责任归属特别模糊,只有2个说清楚了覆盖检查归谁管。背后其实藏着一个更本质的问题:系统的核心判断逻辑依赖一个“黑箱式”的语言模型输出,而不是一段可以被公开核验的规则或公式,“谁来负责检查它对不对”这件事本身就容易被悬置,没有人天然地认为自己该为此担责。

这或许是论文真正想提醒所有人的:决策的核心环节缺少一个可以被明确验证的计算步骤,责任的真空地带就自然出现了。而我们对这种真空的容忍度,可能比我们以为的要高得多。

Q&A

Q1:语义决策引擎Jev是什么?

A:Jev是论文里反复提到的语义决策引擎代表,能接收自然语言或半结构化的网络请求,输出具体的网络控制动作决策,比如路由恢复、服务迁移等,常被拿来和其他语言模型及传统规则方法做对比测试。

Q2:为什么孤立测试达标的决策系统,在真实负载下反而全部失败?

A:孤立测试时请求是一个一个单独跑的,没有排队等待。真实业务里请求会扎堆到来,决策环节本身占用的时间会导致后续请求排队积压。论文测出一个0.5秒决策在孤立测试下100%达标10秒预算,换到每秒4.992个请求的真实负载下,300次请求一次都没能在10秒内完成。

Q3:这篇论文审查的139篇论文,到底揪出了什么核心问题?

真正的问题在于:大量论文都宣称自己的决策引擎能适配某一网络时间预算,可能拿出匹配测量证据来支撑这一点的,只有4篇。还有一点,不少论文在“检查责任归属”这件事上说得含糊,决策过程里没有确定性计算步骤的那些系统尤其如此——像覆盖检查这种关键环节,往往找不到明确的责任人。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 思科用AI重构98%遗留代码:27岁工程师获无限Token

    一位 27 岁的年轻工程师,被思科总裁兼首席产品官吉图·帕特尔(Jeetu Patel)赋予了近乎“无限”的权限——无上限的 Token 预算,以及一个雄心勃勃的目标:在 24 个月内,利用 AI 重构公司 98% 的遗留代码。

    来源 TechWeb
  2. 思科27岁工程师获无限Token,24个月要重写98%遗留代码

    【TechWeb】一位 27 岁的年轻工程师,被思科总裁兼首席产品官吉图·帕特尔(Jeetu Patel)赋予了近乎“无限”的权限——无上限的 Token 预算,以及一个雄心勃勃的目标:在 24 个月内,利用 AI 重构公司 98% 的遗留代码。这里的“他”,是指帕德纳纳班·克里希那穆提(Padmanabhan Kri

    来源 腾讯网
  3. 千问办公直播间卖会员:半小时10万份,约2万亿Token

    今日晚间,李佳琦直播间迎来双十一新爆款——千问办公Token。开卖仅半小时,就售出10万份千问办公个人会员月卡,累计约2万亿Token。李佳琦曾创下5分钟卖出1.5万支口红的成绩,被称为“口红一哥”。当晚,李佳琦直播间评论区不断刷出“321,上Token”。千问办公CEO陈宇森做客直播间,分享AI办公的日常使用场景。千

    来源 TechWeb
  4. 千问办公CEO陈宇森做客李佳琦直播间,半小时卖出10万份千问办公会员

    今日晚间,李佳琦直播间迎来双十一新爆款——千问办公Token。开卖仅半小时,就售出10万份千问办公个人会员月卡,累计约2万亿Token。李佳琦曾创下5分钟卖出1.5万支口红的成绩,被称为“口红一哥”。当晚,李佳琦直播间评论区不断刷出“321,上Token”。千问办公CEO陈宇森做客直播间,分享AI办公的日常使用场景。千

    来源 TechWeb
  5. 千问办公陈宇森进李佳琦直播间:半小时售10万份会员,约2万亿Token

    【TechWeb】11月2日消息,今日晚间,李佳琦直播间迎来双十一新爆款——千问办公Token。开卖仅半小时,就售出10万份千问办公个人会员月卡,累计约2万亿Token。李佳琦曾创下5分钟卖出1.5万支口红的成绩,被称为“口红一哥”。 今年,Token也登上了他的带货清单。当晚,李佳琦直播间评论区不断刷出“321,上T

    来源 AI 行业观察
  6. 沃顿教授:转行技工难以抵御 AI 冲击,四类核心能力才是破局关键

    IT之家 11 月 2 日消息,人工智能不会消失。我们该如何与它共存?说得更准确一点:在人工智能时代,我们要靠什么谋生? 常见的答案无非两种:“学会使用人工智能”,或是找一份人工智能无法替代、不会被自动化取代的职业,最好是动手类工作。 据 Business Insider 报道,伊桑 · 莫利克(Ethan Molli

    来源 AI 行业观察
  7. 张朝阳:关注流是搜狐战略级产品 打造“半开放的朋友圈”

    10月31日,搜狐视频关注流Halloween美剧Cosplay Party在京举行。搜狐创始人、董事局主席兼首席执行官张朝阳在活动现场接受媒体采访,围绕搜狐视频关注流的产品定位、内容生态与未来发展展开分享,并回应外界关于其“躺平”的说法。

    来源 TechWeb
  8. 张朝阳谈搜狐关注流:战略级产品,半开放朋友圈怎么玩

    10月31日,搜狐视频关注流Halloween美剧Cosplay Party在京举行。搜狐创始人、董事局主席兼首席执行官张朝阳在活动现场接受媒体采访,围绕搜狐视频关注流的产品定位、内容生态与未来发展展开分享,并回应外界关于其“躺平”的说法。

    来源 TechWeb
  9. 2026新域新质创新大赛青岛收官:921个项目角逐,96项获奖

    2026新域新质创新大赛决赛在青岛举办 。该赛事是全国首个聚焦新域新质的国家级赛事,由工业和信息化部作为业务主管,中国电子信息产业发展研究院联合青岛市人民政府共同主办。聚焦“高端仪器和制造设备、人工智能、网信、无人及反无人系统、空天技术、海洋科技、新材料、量子科技、生物”9大前沿领域,设置“需求命题+自由探索”2大赛道

    来源 TechWeb
  10. 2026新域新质创新大赛青岛收官:921个项目参赛,96项获奖

    2026新域新质创新大赛决赛在青岛举办 。该赛事是全国首个聚焦新域新质的国家级赛事,由工业和信息化部作为业务主管,中国电子信息产业发展研究院联合青岛市人民政府共同主办。聚焦“高端仪器和制造设备、人工智能、网信、无人及反无人系统、空天技术、海洋科技、新材料、量子科技、生物”9大前沿领域,设置“需求命题+自由探索”2大赛道

    来源 TechWeb
  11. 张朝阳谈搜狐关注流:是战略级产品,要做半开放的朋友圈

    【TechWeb】10月31日,搜狐视频关注流Halloween美剧Cosplay Party在京举行。搜狐创始人、董事局主席兼首席执行官张朝阳在活动现场接受媒体采访,围绕搜狐视频关注流的产品定位、内容生态与未来发展展开分享,并回应外界关于其“躺平”的说法。张朝阳表示,自己每天早上4点起床、工作十多个小时,物理课和英语

    来源 腾讯网
向下滚动自动加载更多