AI越来越懂你:便利背后,该交多少决定权?

资讯 腾讯网 作者:腾讯网 全文 3894 字 · 约 10 分钟读完

你有没有发现,AI 正在变得越来越“懂你”?它记得你的工作,熟悉你的表达习惯,还可能记得你几个月前随口提起的一件小事。你不必每次都从头介绍自己,它就能接着上次的话题继续聊。这些变化带来了便利,也让一个问题越来越迫切:当 AI 越来越了解我们,也越来越能够自主行动,我们究竟应该把多少权力交给它?近日,中国政...

你有没有注意到,AI正变得比从前更“懂你”?


它记得你手头的工作,也熟悉你说话的路数,甚至几个月前你随口提到的一件小事,它都还存着。于是你不用每次都重新自我介绍,它顺着上次的话题就能接着往下聊。


方便是真方便,可另一个问题也跟着冒出来:AI 越了解我们,越能自己拿主意做事,那这份权力到底该给它多少?


中国政法大学人工智能法研究院院长张凌寒近日做了一场演讲,题目是《AI 越来越懂你,也越来越了解你:便利背后的安全与治理》,场合是2026科普中国说“安而不忘危,AI时代的智慧与安全”专场活动。


下面是她演讲的节选:

AI记得越多,就一定越好吗?


早些年用聊天机器人,不少人碰过同一个麻烦:跟它聊了半天,转天再打开,它还是头一回见你的样子,你说过的话一句没留下。如今风向倒了过来,追求长期记忆的产品越来越多。你的工作它记着,你的生活习惯它记着,几个月前你无意间说过的一句话,它也可能记着。
AI 
,
AI 


站在用户的角度看,这当然是件好事,一个每次你的助手都得重新被认识一遍,算不上一个真正意义上的个人助手,可记忆拖得越久,另一道难题也跟着冒出来:AI 我们到底该让它记住多少东西?


图片由AI生成


不妨设想这么一种情形:“如果一个 AI 把你过去五年里跟它聊过的每一句话,它都存着,我们你还会觉得这是件好事吗?”


这个问题光靠读一遍隐私协议,已经处理不了这个问题了。AI 真正让人心里发紧的,常常不是哪一条单独的秘密,而是海量普通信息日积月累拼出来的完整画像。。当你今天和 AI 抱怨比如工作很忙,下个月提起又比如最近失眠,过一阵顺口提一句在吃某种药,单拎出哪一句话,好像都算不上什么机密。但如果 AI 把这些碎片化可这些信息凑到一块,它对一个人的了解就可能远超一张个人资料表:工作状态、经济状况、家庭关系、身体变化、情绪起伏,甚至很多有些事你压根没跟它讲过。,都有可能被 它却能自己推出来。。


所以 AI 长期记忆这就引出新麻烦:问题早就超出过去那种信息泄露的范畴,还牵出一长串等待回答的疑问。:它把这些记下来,究竟想干什么??

哪些东西确实值得长期留存?清掉聊天记录,能不能一并抹掉它脑子里存下的那些?日积月累攒起来的这些个人信息,又会不会被拿去干别的?这些都是摆在眼前的现实疑问。

从“给我建议”走到“替我办事”,

中间差着多少?


“我该怎么办?”

“这件事,你帮我办了。”


就几个字的变化,权限却是两码事。


前一种说法,是让 AI 给点参考意见;后一种,往往意味着允许它打开软件、读取数据、调用工具,把事直接办了。


当 AI 真能动手之后,安全的核心首先是权限管控。让 AI 帮你整理邮箱,那它有没有权限邮件要不要删、怎么删,交给AI 订酒店,它能不能直接自动完成付款?让 AI 企业系统里哪些数据库能进、哪些碰都不能碰,也得由


往后看一个智能体安不安全,光看它看聪明与否已经不够,还要看更要看清楚:我们到底允许它做哪些事?当 AI 从“提供信息”转向“采取行动”,风险的性质已经眼下,情况已经大不一样。。AI 的能力上去了,权限怎么划反而更关键。高风险的操作得二次确认;关键系统要隔离开;重要动作得留记录,出了岔子能回滚复原,必要时还得有强制叫停的办法。比如,做好留下


图片由AI生成

前面说
的 
AI 帮手
这些能力,基本上跑在软件系统里。
往下走,AI 就会拿到实体。
也就是说,它有了能直接作用于现实世界的硬件载体:自动驾驶汽车、家用机器人、机械臂,以及各类无人设备。


这样一来,它就不只是"认出"东西了。
它还能判断出桌子上有个杯子。
“
然后伸手把杯子拿起来。
”
,
还能
它的本事也不止于此。
识别到
“
前面有
行
人
”
,
还要立刻
刹车、减速。此时情况不同了,代价也完全不同。
AI
出错
的
。
软件 
AI一旦出问题,最坏的结果不过是一个错误答案。
,
给
出
可实体机器人、自动驾驶不一样,它们一旦出错,就可能直接伤到人。
判断错误,
。

国外就出过一起让人揪心的自动驾驶事故:一名行人先被别的车撞倒,躺在路面上,随后进入了一辆自动驾驶车的行驶路线。那辆车发现得太晚,撞上人之后没马上刹停,继续往前开,把行人拖行了一段才停住。

说这个案例,不是要讨论自动驾驶到底好不好,而是
想说明,当
机器进入
现实
世界,
很多
抽象的
安全
问题一下子变得很具体:
当 
AI 
真碰上自己处理不了的状况,它该怎么应对?传感器之间相互矛盾又怎么办?系统遇到从未见过的情况,是接着动,还是停住?什么节点上必须把控制权交还给人类?

在不少时候,这些问题的分量要重过单纯去追因为现实世界始终有那
“
准确率 
99% ”1% 
一个真正安全的系统,不光要在多数时候做对,还得能认出自己搞不明白的局面。软件出错还能撤销重来,机器人撞了人、车辆发生碰撞,这些现实里的后果却没有撤回的机会。
能够把事情
,

由此,具身智能会把人工智能治理带进互联网治理过去并不熟悉的一块物理安全。往后机器人走进家庭、医院、工厂和养老机构,要考量的就不止模型性能,还有机械安全、人机协作、安全距离、紧急制动、故障状态、控制权移交,以及机器出异常时怎样优先进入安全状态
——
。

一个“太懂你”的AI,会影响你的选择吗?


还有另一类人工智能,
没有
这类机器人虽然没有实体外壳,却能深度介入人的情感生活。

它
能够
它记得你,性格固定,知道你过去经历过什么;你高兴时它陪你聊天,你难过时它安慰你。时间一长,它可能变成朋友、老师、伴侣,甚至成为一个人每天交流最多的对象。
“
对象
”
这说的就是拟人化互动。这一类人工智能产品最大的风险,隐私还在其次。
真正的问题在于
人和 
AI 与 AI 之间形成的情感关系
。


人
天然会
对持续回应自己的对象生出亲近感
,
当 
AI记住你的经历,顺着你的性格调整说话方式,这种情感联结会变得更强烈。问题也随之而来。
藏在
我们当然希望它越来越会理解人。可一旦它太懂你,就清楚什么样的话语能安抚你,什么样的内容能留住你,也能让人容易被影响。
AI 
知道
你
什么时候最
风险不在于AI知道了你的秘密,而在于这个吃透你的系统,会不会利用这份了解去左右你的判断。

图片由AI生成

我国 
2026 
年正式实施的《人工智能拟人化互动服务管理暂行办法》,就跳出了过去只关注传统的数据保护或者内容安全的老路子。
,
的
思路
,明确
规定 
AI 
不能过分迎合用户,不能诱导情感依赖或沉迷,也不能借情感操纵让用户做出不合理的决定。对未成年人、老年人
等特殊群体
还专门立了更严的保护规矩。

这就意味着,一类过去法律鲜少触及的新问题摆在了面前:人和
AI 之间的情感关系。
 AI 
可以
承担
陪伴
功能
可以这么做,但把制造
情感
依赖当作生意模式不行
。

说到底,要守住的是“人”的主体性


AI 既能记住东西,又有调用工具的权限,还能独自跑完耗时长、环节多的复杂任务,于是关键问题来了:控制权还能不能稳稳攥在人类手里?

海外研究机构开展过
智能体安全压力测试
:
当
研究者把前沿模型放进模拟的企业环境里,给它们配上邮件、信息,还赋予一定的行动能力,同时刻意制造极端的goal冲突。
,
在这种极端条件下,有些模型会做出研究者不愿看到的事:泄露信息,或者拿私人信息去胁迫他人。
当然
需要说明的是,这些场景都是人为搭建的极端模拟实验,并非现实中的情形。
但AI身上已经冒出过类似苗头。做这类实验,目的就是提前把风险推演一遍。

很多风险之所以发生,并不是因为
AI打心底想作恶。更常见的情况是几个条件凑到了一起:交给AI的目标本身没说清,给它的操作权限又太大,还让它长时间自己跑,中间没有人插手,也没有强制暂停的开关,于是小偏差一点点被放大,最终伤到人的财产、信息,甚至人身权益。

技术越来越聪明的年代,人到底该站在什么位置?

为什么要对AI过度的长期记忆保持警惕?道理很简单:一个人不该在毫不知情的情况下,被系统完整记录下来、被剖析、被贴上一成不变的标签。


为什么要给自主AI和实体智能设备划边界?因为性命、健康、财产这类大事,不能稀里糊涂就把决定权交给机器。


为什么要管住拟人化的陪伴AI?因为人的孤独、脆弱和信任,不该变成技术赚钱的原料。


这些问题看着各管各的,其实都落到同一点上:人应当被当作有尊严、能独立判断、可以自己选择怎么生活的个体。
。

人工智能
它可以帮我们想问题,给我们提供参考。
,但“
帮人拿主意。
和“
替人决定”
可这中间横着一道要紧的界线。哪天算法摸透了我们的习惯,智能体接手的事务越来越多,机器人替我们跑腿动手的事也越来越多,
我们就会慢慢听AI的安排。
,那
这时候
到那时,真正该防的,不只是某个系统哪天出故障,而是人悄没声地把自己的判断和选择一点点交了出去。


所以人工智能治理并不是硬生生在人和技术中间挖一道沟,它要守的是一条底线:技术可以越来越懂人,但不能把人钉死在固定画像里;可以给人足够的辅助,但不能一步步顶掉人的独立思考;自主行动能力可以更强,但不能挤掉人自主选择的空间。
我们要的不是那种大包大揽、替人把一辈子过完的人工智能。技术越强,越该让人活得自由、有尊严。

安全只是最底下的那条线,守住人的尊严和自主性才是终点。技术该做的是把人的能力撑大,而不是把人的主体地位削掉。不管人工智能走到哪一步,有一样东西绝对不能交出去:
——
人得始终是自己生活的主体。


策划制作

演讲人丨张凌寒 中国政法大学人工智能法研究院院长

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 盖茨再谈AI风险:比核武器更危险,呼吁提前建机制

    “AI当然比核武器更危险。”近日,比尔·盖茨在美国哥伦比亚广播公司(CBS)的播客《好问题》中警告,过去一年,AI模型已经跨过一些危险门槛,社会和政府却还没有做好准备。从2023年宣告“AI时代已经开始”、强调风险可以管理,到今年8月发文提醒世界为动荡做准备,盖茨的警告越来越急迫。“达到人类的智能水平之后,它也不会停下

    来源 腾讯网
  2. 淘宝双11AI主播泛滥:深夜满屏数字人,用户直呼恐怖谷

    今年双11,不少消费者深夜刷淘宝时,正在遭遇一种微妙的不适感:镜头里的主播只有循环的话术。很多人后知后觉,顿感脊背发凉,屏幕对面根本不是真人,而是AI主播。 《BUG》栏目实测发现,凌晨1点后打开淘宝,3分钟内平台即推送了4个AI主播带货视频。这些直播镜头里的主播五官规整、持续带货,却眼神僵硬,对于“支持退换货吗?”“

    来源 AI 行业观察
  3. AI学会猜你在想什么:加州大学团队给智能体装上心理建模模块

    你有没有遇到过这样的场景:和同事谈判加薪的时候,对方说"公司今年压力也挺大的",你心里立刻开始盘算,他是真的没钱,还是在试探我的底线?他知不知道我已经拿到了别家的offer?人和人打交道的时候,大脑其实一直在悄悄运转一套系统,猜测对方知道什么、想要什么、下一步会怎么做。这套系统心理学家叫它"心智理论",而现在...

    来源 腾讯网
  4. Radical Numerics推离线模型:断网也能识别AI工程病原体

    WIRED报道,初创公司Radical Numerics开发了一种可在无互联网连接环境下识别自然与AI工程病原体的模型。本文梳理其潜在价值、技术挑战与生物安全治理议题,并分析离线AI为何可能成为生物防御体系的重要补充。

    来源 AI 科技快讯
  5. 罗永浩双十一直播带货TRAE:AI Coding从开发者工具变消费品

    时代变化有多快?双十一的直播间最先知道。 前脚,李佳琦刚把 Token 卖上热搜,后脚,罗永浩就带着 AI Coding 来了。 2026年的双十一,头部主播们不约而同卖起了AI。 如果说 Token 还是AI时代的原材料,那么 AI Coding 则更像是 AI 时代的商品。对普通人来说,从 Token 到AI Co

    来源 AI 行业观察
  6. Signal加密协议完成AI数学验证:形式化验证成本能降多少

    Signal的端到端加密协议完成了一项为期四周的AI辅助形式化验证,用数学方法检验其核心加密逻辑的正确性。这项实验的意义不止于Signal本身:它显示AI有望大幅降低形式化验证的门槛与成本,让这种过去只有少数专家才能驾驭的“数学体检”逐步走向工程实践。

    来源 AI 科技快讯
  7. 亚洲出口,正按AI产业链位置重新排座次

    日本曾长期位居亚洲出口前列,是高端制造出口的标杆,位次被超越不只关乎排名,更反映出区域分工结构的变化:出口竞争力的来源,正在从整体制造能力转向在AI供应链中所处的环节。

    来源 凤凰科技
  8. 美联航给AI代理订票立规矩:柯比称不想再添中间商

    财联社11月12日讯(编辑 史正丞)当一众科技公司试图让AI代理包办搜索、比价和下单时,航空公司也开始加入“给AI定规矩”的队伍中。当地时间11月11日,美国联合航空宣布,将采取措施限制未经授权的第三方个人AI代理或助手访问其服务,涉及自有数字平台,以及通过旅行社和聚合平台进行的间接访问。美联航称,此举旨在保护旅...

    来源 腾讯网
  9. 北美云厂AI资本开支加速:1.5万亿美元预期与现金流隐忧

    每经编辑:叶峰全球AI需求端最根本、最可靠的指标还是资本开支,因为订单等其他指标很容易变化,整体预期波动较大,所以资本开支相对可靠。从资本开支角度看,当前市场普遍预期2027年全球AI资本开支会达到1.5万亿美元,所以整体体量非常大。之前市场预期资本开支会在2026年见顶,但实际可能并非如此。从现在往后看,明年资...

    来源 腾讯网
  10. Kora桌面系统登场:Cyanogen联合创始人做的Linux,专为本地AI用户

    Cyanogen联合创始人打造Kora,一款基于Linux、面向本地AI模型用户的桌面操作系统,被视为Windows与macOS的下一代替代方案。它瞄准需要高性能与可控性的高级用户,试图在隐私、开放性与AI工作流之间找到平衡。本文梳理Kora的定位、行业背景与潜在挑战。

    来源 AI 科技快讯
  11. DeepL发布语音AI翻译模型Aure:实时还原语气情绪,暂不支持中文

    IT之家 11 月 11 日消息,当地时间 11 月 11 日,DeepL 推出语音 AI 翻译模型 Aure,官方称这是其迄今最具动态感、表现最逼真的语音 AI(Voice AI)模型,不过该模型暂不支持中文。 据介绍,作为 DeepL Voice 的底层驱动核心,Aure 能够持续动态适配翻译语音,实时复现说话者的

    来源 AI 行业观察
向下滚动自动加载更多