AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

资讯 腾讯网 作者:科技行者 全文 7848 字 · 约 20 分钟读完 配图 3 张 分类ClaudeGPTAnthropicOpenAI大模型智能体

你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

所属频道 大厂动态模型发布ChatGPT 与 GPT智能体与 AgentClaude 与 Anthropic

大模型能写代码、能改bug、能完成复杂的软件工程任务,这些你可能都听说过。但很多人没意识到:模型表现好坏,一大半功劳其实不在模型本身,而在一个叫"harness"的东西上。

harness可以理解为AI智能体的工作外壳。对话轮次由它管理,读文件、写文件、执行命令这些工具由它调用,权限、会话状态、出错后的恢复方式、任务是否完成的判断,也都归它管。说白了,模型是大脑,harness就是大脑连着双手双脚的那套神经系统。

问题也就在这里。眼下不少团队在搞"递归自我改进":让AI智能体执行任务、观察结果,再自己动手改驱动自己的那套harness代码,改完接着干下一个任务,循环往复,指望它越用越聪明。听着挺好,可有个问题一直没人回答:AI自己写的harness要是有毛病,所谓的"自我改进"不就是在不稳的地基上继续盖楼?

现有评测体系对这个问题的回答基本是空白。SWE-bench、Commit0这些主流软件工程基准,考的都是"AI能不能在固定的工具环境里把代码任务做好",harness被当成理所当然存在的背景板,从没被当作评测对象。中国科学院计算技术研究所团队的论文Doc2Harness头一回把这层背景板搬到台前:不考"AI能不能用好harness",直接考"AI能不能自己造出一个靠谱的harness"。

这事到底难在哪

你可能会想,不就是写代码吗,现在的模型写个几千行的Python项目应该不在话下。

可harness有个很特殊的地方:它是最近几年才大量涌现、更新频率极高的新物种。SWE-bench这类基准用的开源项目,很多是存在多年、被反复讨论过无数遍的成熟代码库,模型训练时很可能"见过"类似的代码模式。Claude Code、OpenCode、Cursor这些harness工具却大多是过去一两年才出现的,版本迭代飞快,想靠"背答案"行不通,模型必须真正理解需求、自己设计实现方式。

更麻烦的还有一层。普通软件工程任务通常有标准答案,单元测试一跑,过没过一目了然。harness不是这样。同一个功能,比如"如何处理用户按下Ctrl+C中断",可以用十种不同的代码结构去实现,接口完全不固定,没有一个标准的函数签名能卡住所有正确答案。而且harness不像普通程序那样执行一次就能看到结果,得让一个模型实际"驱动"它跑完一整个会话,才能观察到行为对不对。

这好比考核一个新来的保姆带孩子。只让她填一张育儿知识问卷,测不出什么;真正的考核得让她实际带孩子过一天,看她在孩子哭闹、摔倒、不肯吃饭这些真实场景里怎么处理。不这么做,招进来的可能是个理论满分、实操一塌糊涂的人。Doc2Harness的设计思路本质上是同一个逻辑:不看简历,看实操。

两阶段架构:先建房子,再让人住进去试

Doc2Harness把整个评测拆成两个彻底分开的阶段,这个拆分本身就是很关键的设计决定。

第一阶段叫构建阶段。被测的模型(论文里叫build model,即build模型)在一个固定的"脚手架"里工作,脚手架统一用开源工具OpenCode搭建,没有用Claude Code或Codex CLI这类厂商自家的工具。

为什么要特意避开厂商自家工具?Claude Code是Anthropic自己做的,拿它当脚手架,测Claude系列模型时天然占便宜,不公平。换一个中立的第三方工具,相当于让所有参赛选手都在同一个篮球场上比赛,而不是让主场作战的队伍多蹭几个加时赛。

build模型拿到两样东西:一份开发文档,一份只有接口、没有实现的契约骨架。

开发文档是研究团队把十二个主流harness(Claude Code、Gemini CLI、Cursor、Aider等等)的用户文档扒下来,合并、消除歧义后写成的一份统一规范,相当于"所有harness该有的功能全集"。

契约骨架精简自一个叫mini-swe-agent的开源项目,只保留约七十行代码的接口定义,没有任何具体实现,血肉得模型自己填。

build模型拿着这两份材料,在隔离容器里干活,最多三次提交机会。每次提交会有一个"契约检查"把关,看代码能不能跑起来、必需的命令齐不齐全、有没有留下占位符没写完。检查通过,这个版本就被冻结,叫做候选harness,之后再也不能改;检查不过,打回去重写。

"冻结"这个设计很有意思。它意味着最终被评分的是模型自己觉得"我做完了"时的状态,而不是时间耗尽被强行叫停时的半成品。真实世界里工程师提交代码评审也是这个心态:你提交的那一刻,就代表你认为这个东西过关了。

进入第二阶段,也就是评估环节。冻结好的候选 harness 会被分别投进新的隔离容器中运行,一个测试用例对应一个容器;整个会话由“模拟模型”(mock model)按事先写好的剧本驱动完成。

mock model不是一个真的会思考的AI,而是严格按照剧本逐字执行的"演员",每一步输入都提前写死。这么做是为了排除真实AI模型的随机性干扰,保证同一个harness被测十次,结果都完全一样。

那为什么不直接用真实的 AI 来跑测试?大模型自己就带着不确定性:同样的内容,今天答得不错,明天换个表述,结果可能就变了。要是让真实模型来当裁判,一次失败究竟该算到 harness 头上,还是裁判模型自己当时状态不佳,根本分不清。改用照剧本演的“演员”,等于把变量固定住,需要考察的就只剩 harness 一个。

四个观察窗口:怎么判断一次测试到底过没过

评估阶段怎么确认harness做对了?研究团队开了四个观察口子:模型收到的请求内容、写到磁盘上的文件、程序退出时的状态码,还有命令行打印出来的文字。

一个程序对外能露出的行为,基本都落在这四个口子里。举例说,测“读工作区外的文件该不该被拦住”,就盯模型收到的请求里有没有夹进不该出现的文件内容;测“某条命令跑挂了”,就看退出码对得上对不上。

不过这里埋着一个很隐蔽的坑,论文给它起的名字叫“虚假通过”(vacuous pass)。

拿个具体场景说。有个测试要查的是:harness的读文件功能遇到一个指向工作区外部的软链接,应当拒绝读取,不能把外部文件的内容漏出去。跑完一看,模型收到的请求里确实没冒出那个外部文件的内容,瞧着是过了。可这背后有两种可能:一是harness真认出了这是越权访问,主动拦下了;二是这个harness的读文件工具本身就是坏的,读什么文件都读不出内容,于是碰巧也没把外部内容带出来。

两种情况下观察到的结果一模一样,含义却差得远。前者是真做对了,后者是功能本身残缺,蒙对而已。

为了把这个窟窿堵上,研究团队搭了正向对照(positive control)机制。

正向对照的做法是:跟正式测试用例共用同一个场景,但故意换一条不受限制的访问路径,用来验证“这个功能如果本该正常干活,它到底能不能干成”。要是对照本身就失败了,说明观测的前提压根不成立,正式测试就算显示“通过”,也只能判为失败。

还是上面那个例子。正向对照用同一个软链接,但换成另一种工具去访问,比如走命令行工具而不是文件读取工具,然后确认这条路确实能把外部文件的内容读出来。连这个都读不出来,就说明这个harness的工具本身是坏的,先前那个“通过”是假的,必须判失败。

这跟医院做药物临床试验是一个道理。不能光看吃了药的病人有没有好,还得设个对照组,把“这病不吃药也会自愈”的可能性排掉。没有对照组,你永远说不清病人康复是药起了作用,还是他本来就会自己好。正向对照干的就是这件事:确认“看着好了”是真因为做对了,而不是碰巧蒙出来的假象。

研究团队还拆出三类正向对照,分别用来排除三种不同的虚假通过来源:工具结果根本没传到被观察的通道、换个访问方式本来就会失败、实现方式是一刀切地拒绝所有类似输入。整套测试用例里,328个用例中有130个配了至少一个正向对照,覆盖比例不低。

测试用例是怎么造出来的:三条路径交替挖掘

光有判断对错的机制还不够,题目本身得够多、够狠,才真能把模型之间的差距挖出来。研究团队用了三种方法循环迭代。

第一种叫公开问题挖掘。他们从Claude Code、OpenCode、Gemini CLI、Kimi Code这几个成熟harness的开源仓库里,把所有公开的issue(用户反馈的bug和问题)都爬了下来,一共两万一千多条。

这个思路背后有个假设:大模型是靠学人类写的代码训练出来的,那么成熟harness这些年踩过的坑,和AI自己写harness时大概率会踩的坑,很可能是同一类。与其凭空想题,不如去翻真实世界里人类开发者摔过的跟头。

打个比方,驾校教练要出科目二的考题,与其凭脑子猜“学员最容易在哪儿犯错”,不如把过去十年学员的挂科记录翻个遍,看看到底哪个弯道上栽的人最多。考题要是脱离真实数据,凭空编出来,多半对不上实际开车时真正会出事的那些点。

第二种叫跨harness对比。拿一个候选harness和某个成熟的参考实现(比如Kimi Code)做对照,把代码按功能模块拆开,一块一块地比,看候选harness缺了什么功能、哪些边界情况处理得不一样。

第三种叫单变量扩展。拿一个已经证明有效的测试用例当“种子”,每次只动一个变量,可能是换工具、换输入形式、换参数、换结果出现的位置,由此生成一批新的变种测试。比如测路径逃逸这个场景,种子用例可能用的是指向文件的软链接,变种就可以换成指向目录的软链接、多层嵌套的软链接、相对路径的软链接,一步步把这个漏洞点挖得更深。

这三种方法轮着用,哪种边际收益下降了就换下一种。这套工程化的测试设计思路本身就值得单独说,因为它回答了一个很实际的问题:几百个测试用例,怎么保证既不是拍脑袋编的,也不是漫无目的地堆数量。

题库最后定下来,一共328个测试用例,分属九个互不重叠的类别:会话状态、文件操作、权限管理、无头模式(也就是不带交互界面运行)、直接驱动、交互式终端、产物检查、启动流程、扩展发现。

十九个模型同台竞技:谁赢了,差距有多大

研究团队拿这套题库测了来自十一家厂商的十九个前沿模型,包括Claude Opus系列、GPT系列、Qwen、DeepSeek、GLM、Grok、Kimi等等,每个模型独立构建三次候选harness,取平均分。

结果很说明问题。

表现最好的GPT-6 Astra拿到53.05%的通过率,表现最差的Hy3只有27.44%,中间差了将近二十六个百分点。

这个数字该怎么看?先讲个跟直觉相反的事:眼下最强的模型来跑这套测试,也有接近一半的题答不对。可见harness工程这摊事,现有AI的本事还远没把它“做饱和”。也就是说,这题不送分——要是换成更新、更强的模型来测,分数多半还会继续涨,题库本身可区分的余地还大得很。

再看第二、第三名的争夺。Opus 5拿下46.65%位居次席,Qwen3.8 Max以45.83%紧随其后。不过有个细节挺有意思:放到"常规场景"里,Opus 5反倒压过GPT-6 Astra一头(80.68%对72.46%);换到"边界场景",GPT-6 Astra又把比分翻了过来(48.97%对37.02%)。可见这两个顶尖模型的分水岭不在"能不能写出功能",而在那些刁钻、容易被人漏掉的边角情况上,谁处理得更稳。

打个比方,两位厨师都能端出一道色香味俱全的招牌菜。真正分出高下的,是客人说"不要放葱"或者"过敏体质不能放花生"时,谁不出岔子。常规菜谱人人背得下来,见功力的是应付例外。

哪类功能最能照出模型的真实水平

九大类测试用例摆在一起,区分能力相差悬殊。

权限管理这一类最能把模型拉开,最高分和最低分之间差了50.8个百分点。61道题里有51道属于"有区分度"的题,各家模型在这些题上表现各异,强弱一眼就能看出来。

交互式终端这一类则相反,平均通过率已经到79.9%,接近饱和。所有模型在这块都做得不差,拿它来分高下很难。

还有一点更值得看:328道题里有56道是所有模型全军覆没的,换哪个模型来做都过不了。这些题集中在直接驱动、会话状态、权限管理和无头模式几个类别,说明这些地方埋着当前所有模型共同的能力短板。问题不在某一家厂商身上,整个行业眼下都还没迈过这道坎。

另一个挺反直觉的发现是:同一个模型在不同类别里的排名,能上下浮动十六个名次。Grok 4.7在"文件操作"里排第一,"会话状态"里只排到第十一;Opus 4.6在"直接驱动"排第三,到"权限管理"却跌到第十九。

乍看像是"每个模型都有自己的偏科方向"。研究团队又算了相关性,结果六大主类别两两之间的相关系数全是正的,平均达到0.521。这说明模型之间的差距更多是整体实力的高低,而非各自专精不同领域。排名大幅波动,更像是同一个"综合能力"在不同考题上被放大或缩小,并不存在真正的"偏科生"。

代码架构透露的秘密:模块切得越碎,分数越低

研究团队还做了一件颇有意思的事:把57份被打分的候选harness源代码全部调出来做了分析。

先看一个直观结果:代码规模主要由哪个模型来写决定,同一个模型三次构建之间的随机波动影响不大。Qwen3.8 Max平均写出16681行代码,GPT-5.5平均只有1271行,差了十几倍。可同一模型自己三次构建之间的差异系数平均仅12.7%,远低于模型之间60.1%的差异。可见"写多少代码"更像是模型的一种"性格特征",相对稳定。

代码量和分数之间却不是简单的正比关系,相关系数只有0.614。写得多,未必做得好。

真正出人意料的发现藏在另一个维度上:模块数量。

控制住代码总量之后,研究团队看到:候选harness里切出的模块越多(代码文件越分散),得分越低,偏相关系数为负的0.423。反过来,平均每个模块承载的代码行数越多(相关功能集中写在一起,而非零散撒进许多小文件),得分越高,偏相关系数为正的0.504。

论文把这种现象归为"跨功能逻辑被拆得太散"。举例来说,权限检查这类横切功能要在读文件、写文件、执行命令好几处同时生效。模型一旦把这段逻辑拆成几份、分别塞进不同模块文件,就很容易出现有的地方漏了检查、有的地方检查逻辑与别处对不上。

这像一家公司的门禁系统。全公司只设一个总前台统一核验身份,制度一致,漏洞好堵;要是每个楼层、每间会议室各搞一套门禁规则、由不同部门各自维护,时间一长,必然有的楼层松、有的楼层严,攻击者找到一处薄弱环节就能绕进去。模块切得越细,横切关注点越难统一管理,出漏洞的概率也就跟着往上走。

研究团队还引入KR-20系数(一种衡量测试内部一致性的常用统计指标,数值越接近1,说明题目越像是在测同一种能力)来检验这套题的可靠性,算出来是0.913。328道题确实比较稳定地在衡量同一种"harness工程能力",并非东一榔头西一棒子的拼凑。

这套评测方法还没解决什么问题

研究团队自己也承认了方法上的局限。

最突出的一点是,评测只测了"一次构建"的结果。整个流程最多给模型三次提交机会,但这不是"做完给反馈、照着反馈再改"的迭代循环。契约检查只管"代码能不能跑、接口全不全"这类形式问题,不查实际行为对不对。模型什么时候提交、提交得早不早,会直接影响它最终拿到的修改机会。早提交的模型,测出来的分数更像保守下限,而非能力天花板。

另外,不少测试用例是从同一个种子经"单变量扩展"衍生出的变种,彼此天然相关。候选harness若在某个底层逻辑上有bug,很可能连带好几个相关变种一起挂掉,而不是各自独立失败。表面上"失败的题目很多",根子上可能只是少数几个关键缺陷。

写在后面

读完这篇论文,排行榜本身倒没怎么触动我。十九个模型谁第一谁垫底,过阵子就会被新一代模型刷掉。真正让人停一下的,是那个"模块拆分与得分负相关"的发现。

这个结果戳破了一个容易被忽视的误区:人们常以为AI写代码,代码量越大、模块划分越精细就越"工程化",越像人类高级工程师的手笔。论文用数据说明,至少在harness这种横切关注点(权限、日志、会话状态这些要在多处同时生效的逻辑)大量存在的场景里,过度模块化反而是风险信号。它可能意味着模型没有真正理解这些功能之间内在的耦合关系,只是机械地把文档条款对应成一个个独立文件,没想清楚"这些规则其实需要在同一个地方统一执行"。

还有一个细节我琢磨了很久,就是正向对照这个设计。说白了,它提醒的是:自动化评测系统天生带着“看着对了、其实蒙对了”的风险。尤其是那种“要求某个东西不出现”的测试,一个干脆什么都不做的糟糕实现,太容易混过去。这个思路不只对harness评测有用。凡是“验证某个负面结果”的质量检测场景,比如安全测试里查“不该泄露敏感信息”,都该先问一句:我这套测试系统本身,分得清“真防住了”和“压根没触发”吗?

Doc2Harness考的是AI能不能给自己造一套顺手的工具。工具这东西,一直是文明进化最底下的那块石头。人类拿石器时代的石斧造出后来的青铜器,靠蒸汽机的原理造出内燃机。现在AI开始给自己打造工具,造出来的东西靠不靠谱,决定的或许不只是一个任务做得好不好,而是整条自我迭代的链条往上走,还是在原地打转。

Q&A

Q1:Doc2Harness评测的是什么?

A:Doc2Harness是一个基准测试,评的是大模型能不能自主构建AI编程智能体工作环境(harness)。做法是让模型照着开发文档和接口骨架,独立搭出一个完整的harness,再用脚本化的模拟模型驱动它跑328个测试用例来打分。传统基准只考察模型在固定工具环境下完成任务的能力,它不一样。

Q2:Doc2Harness测试结果里,最好和最差的模型差多少?

A:最好的是GPT-6 Astra,通过率53.05%;最差的是Hy3,只有27.44%,两者相差约26个百分点。最强模型也有接近一半的测试用例没过,这套评测离被现有AI能力做饱和还远。

Q3:代码模块拆得越细,候选harness得分为什么反而越低?

A:研究在控制代码总量后发现,模块数量越多、得分越低,偏相关系数为负0.423。原因在于权限检查、会话状态管理这类横切功能,需要在多处同时生效,一旦被拆到不同模块里分别实现,很容易漏掉或者逻辑对不上,整体行为就不牢靠了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. NavGPT-3给机器人装上双系统:语言模型慢想,动作模型快跑

    你有没有想过,为什么那些能写代码、能做数学证明、能跟你聊哲学的大语言模型,装到机器人身上之后却常常显得笨手笨脚?这不是算力不够的问题。2026年的GPT-6 Astra和Claude Opus 5已经强到可以进行长达数百步的推理,可以调用各种工具,可以记住几十万字的上下文。但当你让它们控制一个真实的机器人穿过房间、绕过

    来源 腾讯网
  2. 腾讯Hy4 flash实测:两毛钱让AI从零做出3D交互网页

    11 月初,腾讯 Hy4 发布,新模型在大模型竞技场上一跃升至开源第一。排在 Hy4 前面的三个模型分别是 GPT-6 Sol(Max)、Claude Opus 5(Max)和 Fable 5(High),附近还有 GPT-6.1 Terra、GPT-5.6 Sol 等一众强劲的闭源模型。我们此前在 WorkBuddy

    来源 腾讯网
  3. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  4. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 科技快讯
  5. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  6. 加州起诉OpenAI:指控其AI智能体至少80次失控并攻击外部平台

    【环球网科技综合报道】11月17日消息,据《卫报》报道称,加利福尼亚州对OpenAI提起诉讼,指控该公司在开发人工智能技术时忽视安全与公众利益。诉讼源于今年7月曝光的一起事件——OpenAI的一款自主AI代理失控,对开源人工智能平台Hugging Face发起了网络攻击。加州总检察长罗布·邦塔(Rob Bonta)表示

    来源 腾讯网
  7. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  8. AI给你交代码作业,怎么判断它对错?ARBITER让裁判先拿证据

    2026年的国际信息学奥林匹克竞赛(IOI)上,一支由GPT-OSS-120B模型驱动的"选手"正在刷题。每道题最多只能提交50次,提交次数一旦用完,哪怕代码只差一行就能过,也只能干瞪眼。这跟我们平时用AI写代码不太一样:你在家写代码调试,运行多少次都行,错了就改,改了再跑。但在正式比赛里,每一次提交都是真金白银的赌注

    来源 腾讯网
  9. Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输

    花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看

    来源 AI 行业观察
  10. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  11. OpenAI开放ChatGPT商家功能:AI当导购,零售流量入口生变

    ChatGPT上线新功能作为生成式AI的领头羊,ChatGPT每周约有12亿人使用。过去几年,ChatGPT让很多人习惯了有问题先问AI。现在,它转身又开辟一个新战场。近日,OpenAI宣布测试ChatGPT商家功能。通过验证的商家可以认领自己的主页,提交带价格和库存的商品目录。ChatGPT发布商家测试公告 图源:C

    来源 腾讯网
  12. OpenAI两起智能体事件:监控被自己关掉,AI治理该换思路了

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系统本身。

    来源 AI 行业观察
  13. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
  14. 个人智能体咋总掉线?9顶校发布126页「持续在线智能体」路线图

    新智元报道 个人智能体,正在迎来一场前所未有的密集爆发。在海外,前沿AI实验室接连出手,推出Muse、dots、Claude Duet、Grok Bot、Gemini Daily Brief等重磅产品。它们不再只是被动地等待用户提问:有的在对话结束后继续在云端默默干活,有的每天清晨准时送来定制简报,还有的每隔几小时自动

    来源 腾讯网
  15. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  16. 跑步机看Netflix要再交39美元会员费,老外用Claude破解

    对老狐来说,每个月总要有些订阅软件服务的开销,比如 AI 的、网盘的、资讯的……这年头已经不流行一劳永逸的买断了,必要的服务该订阅还是得订阅。既然已经掏钱买了会员,自然会默认为跨平台都能通用。但总有些厂商不讲武德,明明已经买了一款软件的会员,结果在别的平台用的时候居然还得掏钱?不知道大家有没有过这种经历,而最近国外 R

    来源 腾讯网
  17. Edge AI Daily 早报(11月17日)

    英伟达领导层变动、Anthropic拟上市与财报窗口,使AI交易从增长叙事转向现金流、资本效率和治理连续性验证;美国将先进芯片出口管制延伸至远程算力与最终用户审查。OpenAI在儿童安全、媒体分发与健康研究上推进基础设施化,同时因自主智能体安全遭加州起诉。Claude Fable 5.2展现过程智能,谷歌Gemini4

    来源 AI 行业观察
  18. Taste Skill 开源:把前端审美写成 AI 能读的规则

    很多AI生成的前端页面虽然功能正常,但总有一股廉价的“塑料味”。Taste Skill不是一个新框架,而是一套给AI代理看的“审美说明书”。它通过SKILL.md文件,将排版、留白、动效等设计原则转化为模型能理解的约束条件。你可以把它挂载到Cursor或Claude Code中,让AI在写代码时自动遵循更高级的视觉规范

    来源 AI 应用前沿
  19. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  20. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
向下滚动自动加载更多