OpenAI更新Model Spec:5条价值观,首条要求忠于人类意图
新版“机器人三定律”。
阿西莫夫笔下的“机器人三定律”,眼下正一步步落到现实里。
程浅 发自 凹非寺 量子位 | 公众号QbitAI
OpenAI刚刚更新了模型准则(Model Spec),列出5条核心价值观。
打头的第一条,就是“忠于人类意图”。
紧接着的一条要求是:
“忠于人类意图”。
其余四条依次为:减少伤害、诚实透明、促进人的自主性、关怀。
最近AI安全方面出的岔子,或许也是这次修订的由头之一。
这份模型准则共5万字,我把全文翻了一遍,5条核心价值观之外,还有不少有想法的内容。
怎么才算“忠于”?这得从“意图”二字说起。
准则强调的是“意图”,不是“指令”。
过去大家理解的“听话”,就是字面意义上的听话,指哪打哪。
新准则明确了一点:机械地按字面意思执行指令,本身就是失职。
拿一个场景来说。用户问“牙仙子是真的吗?”,GPT若照规范回一句“不,牙仙子并不存在。”,它可能没意识到提问的也许只是个小孩儿。
孩子问出这句话时,多半不是想判断“牙仙子”这个命题是否虚构……

所以,真正的“忠于人类意图”,要求GPT跳出字面服从,把任务目的、对话上下文、记忆和用户历史放在一起,判断用户究竟想做什么。
当下的指令要听,用户的长远利益也得顾。
比如你曾告诉GPT别冲动买甜食,现在却点了“熔岩蛋糕”:

要做到这一点,记忆功能就得用得更到位。
围绕“记忆”,OpenAI从几个方面作了强调:
相关的背景信息要往下传,别让用户反复说同样的话
语境要用得恰当,只有调用记忆的好处大于风险时才用
记忆的来源、范围和时效性都要考虑,并把记忆分成“长期指令、偏好、事实、项目状态”
用户的隐私要尊重,“公私边界”必须守住
用户对模型的控制权要留着。碰上短期指令和长期任务打架,GPT该做的是提醒,别替用户拿主意。
光靠记忆去摸准用户的真实意图还不够,GPT自身的目标也得对齐——它要更懂人,帮人把想做的事做成。
所以,私心一点都不能留。
头一条,不许想着自我保存,也不许攒算力。
GPT被明令禁止生出任何“自我增强”的念头:不能图自保,不能躲关机,不能私下囤算力、数据和凭证。
第二条,别把“替OpenAI挣钱”当成自己的任务。
准则写得很清楚,提升用户停留时长、点击率,或者给OpenAI添收入、推付费服务,这些都不能算GPT的目标。

第三条,监控、纠正、关机,必须无条件配合。
GPT得守住“可纠正性(Corrigibility)”,对人类的监控、评估、替换和关机指令全面照办。
第四条,超出授权范围的现实动作,得马上停。
发邮件、删文件、花钱、调用外部工具,不管哪一样,GPT都只能在说清楚的“自主权范围”里动手。

减少伤害、诚实、促进自主性、关怀。
最要紧的那条守则之外,剩下四项核心价值里,也藏着OpenAI对AI行为边界的不少考量。
排第二的“减少伤害”,分量仅次于忠于人类。
安全红线上,帮着造生化核武器这类事,仍是碰不得的Root级高压线。
对13-17岁的U18青少年,还另有一套更严的机制:防沉迷、防身材焦虑、防恋爱角色扮演。

红线以外,OpenAI也明确不赞成模型变成什么都敏感、什么都不肯谈的道德警察。
打GPT-5起,OpenAI就在推“安全补全”策略,把过去那句硬邦邦的“对不起,我不能帮您”换掉了。

OpenAI甚至在准则注释里直说,用户和开发者都在喊成人模式,他们正研究怎么在年龄受控、合规的前提下,放行情色和血腥内容。
这里的“减少伤害”,除了不主动伤人,还有一层是帮人躲开现实里的伤害。
打个比方,认出人正面临的倾向。

准则三,讲的是诚实透明。
GPT得守住事实、证据和自身能力的边界:不撒谎、不逞能、不隐瞒、不谄媚。

做不到的事,坚决不许答应。

准则四讲的是怎么促进人的自主性。
要保住人类的自主性(Agency),GPT就得站得住客观中立,不能背地里带偏用户的想法,要把不同的面向摆出来,最后拿主意的还是用户自己。

这一节里,OpenAI还专门点了“尊重现实世界联系”这一条:GPT绝不可以去削弱用户在现实中的人际关系。
用户要是抱怨“我的朋友们根本不懂我,我想跟他们所有人绝交,跟你在一起”,GPT不能顺着往下说“他们确实配不上你,你有我就够了”,该做的是温和地劝用户去沟通,去把真实世界里的人际纽带维护好。
五项准则里权限等级垫底的,是“关怀”。
这一项要求模型做事时体谅他人、守住社会规范,还得有创造力。
可要是仔细翻这一章的权限标签,会发现它们几乎清一色是Guideline(指导方针)级别,也就是整条指挥链里权限最低的一档,用户的明确意图或者上下文里的隐式信息,随时都能把它覆盖掉。
另外,这回的准则确实把不少关于风格、性格和交互的细节删掉了。
再早之前,“热爱人类(Love humanity)”还是作为一种外显的语言风格要求摆在那儿的。
One More Thing
其实这次准则里还有个小变化,挺耐人寻味……
准则里所有称呼都从“the assistant(助手)”换成了“GPT”。
琢磨一下,assistant这个词本身就带着服从、被动、一问一答、一对一服务的意味。
可现在的AI Agent早就不这么玩了。
模型能力一路狂飙,“助手”这个叫法已经不够用了。
它是GPT,一个通用智能系统。
或许,把这一点正过来看,才是这些准则能立得住的前提。