AI越来越懂你:便利背后,该交多少决定权?
你有没有发现,AI 正在变得越来越“懂你”?它记得你的工作,熟悉你的表达习惯,还可能记得你几个月前随口提起的一件小事。你不必每次都从头介绍自己,它就能接着上次的话题继续聊。这些变化带来了便利,也让一个问题越来越迫切:当 AI 越来越了解我们,也越来越能够自主行动,我们究竟应该把多少权力交给它?近日,中国政...
你有没有注意到,AI正变得比从前更“懂你”?
它记得你手头的工作,也熟悉你说话的路数,甚至几个月前你随口提到的一件小事,它都还存着。于是你不用每次都重新自我介绍,它顺着上次的话题就能接着往下聊。
方便是真方便,可另一个问题也跟着冒出来:AI 越了解我们,越能自己拿主意做事,那这份权力到底该给它多少?
中国政法大学人工智能法研究院院长张凌寒近日做了一场演讲,题目是《AI 越来越懂你,也越来越了解你:便利背后的安全与治理》,场合是2026科普中国说“安而不忘危,AI时代的智慧与安全”专场活动。
AI记得越多,就一定越好吗?
站在用户的角度看,这当然是件好事,一个每次你的助手都得重新被认识一遍,算不上一个真正意义上的个人助手,可记忆拖得越久,另一道难题也跟着冒出来:AI 我们到底该让它记住多少东西?
不妨设想这么一种情形:“如果一个 AI 把你过去五年里跟它聊过的每一句话,它都存着,我们你还会觉得这是件好事吗?”
这个问题光靠读一遍隐私协议,已经处理不了这个问题了。AI 真正让人心里发紧的,常常不是哪一条单独的秘密,而是海量普通信息日积月累拼出来的完整画像。。当你今天和 AI 抱怨比如工作很忙,下个月提起又比如最近失眠,过一阵顺口提一句在吃某种药,单拎出哪一句话,好像都算不上什么机密。但如果 AI 把这些碎片化可这些信息凑到一块,它对一个人的了解就可能远超一张个人资料表:工作状态、经济状况、家庭关系、身体变化、情绪起伏,甚至很多有些事你压根没跟它讲过。,都有可能被 它却能自己推出来。。
所以 AI 长期记忆这就引出新麻烦:问题早就超出过去那种信息泄露的范畴,还牵出一长串等待回答的疑问。:它把这些记下来,究竟想干什么??
从“给我建议”走到“替我办事”,
中间差着多少?
“我该怎么办?”
“这件事,你帮我办了。”
就几个字的变化,权限却是两码事。
前一种说法,是让 AI 给点参考意见;后一种,往往意味着允许它打开软件、读取数据、调用工具,把事直接办了。
当 AI 真能动手之后,安全的核心首先是权限管控。让 AI 帮你整理邮箱,那它有没有权限邮件要不要删、怎么删,交给AI 订酒店,它能不能直接自动完成付款?让 AI 企业系统里哪些数据库能进、哪些碰都不能碰,也得由
往后看一个智能体安不安全,光看它看聪明与否已经不够,还要看更要看清楚:我们到底允许它做哪些事?当 AI 从“提供信息”转向“采取行动”,风险的性质已经眼下,情况已经大不一样。。AI 的能力上去了,权限怎么划反而更关键。高风险的操作得二次确认;关键系统要隔离开;重要动作得留记录,出了岔子能回滚复原,必要时还得有强制叫停的办法。比如,做好留下
一个“太懂你”的AI,会影响你的选择吗?
说到底,要守住的是“人”的主体性
为什么要对AI过度的长期记忆保持警惕?道理很简单:一个人不该在毫不知情的情况下,被系统完整记录下来、被剖析、被贴上一成不变的标签。
为什么要给自主AI和实体智能设备划边界?因为性命、健康、财产这类大事,不能稀里糊涂就把决定权交给机器。
为什么要管住拟人化的陪伴AI?因为人的孤独、脆弱和信任,不该变成技术赚钱的原料。
策划制作
演讲人丨张凌寒 中国政法大学人工智能法研究院院长