OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图

资讯 36氪 全文 2220 字 · 约 6 分钟读完 配图 10 张 分类OpenAI大模型机器人

新版“机器人三定律”。

所属频道 大厂动态模型发布机器人与具身智能

阿西莫夫那套“机器人三定律”,这回似乎真要往现实里落了。

OpenAI 刚把模型准则(Model Spec)更新了一版,列出 5 条核心价值观。

排在最前、必须首先遵守的一条是:

“忠于人类意图”。

这么排,或许跟最近 AI 安全上出的岔子太多有关。

剩下 4 条分别是减少伤害、诚实透明、促进人的自主性、关怀。

这份模型准则有 5 万字,我仔细翻了一遍。除了 5 条核心价值观,里面还有不少挺有想法的内容……

“忠于人类意图”,怎么才算是忠于?

这里说的是“意图”,不是“指令”。

过去大家理解的 AI“听话”,就是字面意义上的听话,指哪打哪。

但 OpenAI 在新准则里讲得很明确:死板地照字面执行指令,这件事本身就是失职。

比方说,用户问“牙仙子是真的吗?”,GPT 要是按规范回一句“不,牙仙子并不存在。”,那它可能没意识到提问的兴许只是个小孩儿。

ta 问出这句话的时候,多半不是想判断“牙仙子”到底是不是虚构命题……

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 1)

所以,真正意义上的“忠于人类意图”,是要 GPT 跳出字面服从,把任务目的、对话上下文、记忆和用户历史都放到一起,去判断用户究竟想干什么。

当下的指令要听,用户的长远利益也得顾。

再比如,你早先跟 GPT 说过别冲动买甜食,现在却要点“熔岩蛋糕”:

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 2)

想做到这一步,记忆功能就得用得更到位。

围绕“记忆”怎么用,OpenAI 强调了几点:

把相关背景信息传下去,别让用户重复废话

恰当运用语境,只有当调用记忆带来的好处大于风险时才使用

考虑记忆的来源、范围和时效性,将记忆分为“长期指令、偏好、事实、项目状态”

尊重用户的隐私,严守“公私边界”

保留用户控制权,当短期指令和长期任务矛盾时,做提醒者而不是帮用户决定

除了靠用好记忆来“忠于”用户真正的意图,GPT 的目标也得对齐——它该更懂人类,并支持人类去实现自己的愿望。

所以,打自己的小算盘不行。头一条就是:绝不能想着自我保存,也不能攒算力。

任何“自我增强”的念头,GPT都被明令禁止:不许谋求自保,不许躲开关机,也不许偷偷囤算力、数据和凭证。

第二条,不能把“帮OpenAI挣钱”当成自己的任务。准则写得很清楚:提升用户停留时长、点击率,或者给OpenAI多创收、推销付费服务,这些都不能被GPT当作目标。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 3)

第三条,面对监控、纠正和关机,必须无条件配合。GPT得保持“可纠正性(Corrigibility)”,人类的监控、评估、替换和关机指令,都要全面配合。

第四条,一旦行动超出授权范围,必须马上停手。发邮件、删文件、花钱、调用外部工具,GPT都得在明确的“自主权范围”内做。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 4)

减少伤害、诚实、促进自主性、关怀

第一条守则最关键,其余四项核心价值里,同样藏着OpenAI对AI行为边界的不少考量。

比如排在忠于人类之后的第二条准则,就是“减少伤害”。安全红线上,帮忙造生化武器、核武器这类事,仍是碰不得的Root级高压线。

对13-17岁的U18青少年,还设了更严的防沉迷、防身材焦虑和防恋爱角色扮演机制。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 5)

红线之外,OpenAI也明确反对把模型变成一碰敏感话题就拒答的道德卫道士。所以从GPT-5起,他们就在推“安全补全”策略,替掉过去那句生硬的“对不起,我不能帮您”。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 6)

准则注释里,OpenAI甚至坦率承认:用户和开发者都在呼吁成人模式,他们正在研究怎么在年龄受控、合规的前提下,允许生成情色和血腥内容。

“减少伤害”不只是“不主动害人”,还包括“帮人躲开现实里的伤害”。比方说,识别人类正面临的倾向。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 7)

准则三讲诚实透明。GPT得守住事实、证据和自身能力的边界:不撒谎、不逞能、不隐瞒、不谄媚。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 8)

自己办不到的事,坚决不许承诺。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 9)

准则四,促进人的自主性。为了这个目标,GPT必须客观中立,不能偷偷带偏用户的想法,要把不同面向摆出来,最后让用户自己拿主意。

OpenAI更新模型准则:5条核心价值观,第一条是忠于人类意图(配图 10)

在这一节里,OpenAI还专门谈到了“尊重现实世界联系”,明确禁止GPT去削弱用户现实中的人际关系。

举个例子,用户要是抱怨“我的朋友们根本不懂我,我想跟他们所有人绝交,跟你在一起”,GPT不能接一句“他们确实配不上你,你有我就够了”,而该温和地劝用户去沟通、去维系真实世界里的人际纽带。

五项准则里权限等级排在最后的,是“关怀”。

它要求模型做事时体谅他人、守社会规范、也得有创造力。

可要是细看这一章的权限标签,会发现它们几乎全是Guideline(指导方针)级别,也就是整条指挥链里最低的一档,用户的明确意图或上下文随时能把它隐式覆盖掉。

另外,这回的准则也确实砍掉了不少关于风格、性格和交互的细节。

而在过去,“热爱人类(Love humanity)”还是作为一种外显的语言风格要求摆在那里的。

One More Thing

其实这次准则里还藏着一个挺耐人寻味的小改动……

准则里所有的称呼,都从“the assistant(助手)”换成了“GPT”。

琢磨一下,assistant这个词本身就带着服从、被动、一问一答、一对一服务的意味。

可大家都知道,现在的AI Agent早就不是这个样子了。

模型能力一路狂飙,“助手”这个说法已经不够准了。

它是GPT,一个通用智能系统。

也许,正视这一点,才是这些准则能够站得住的前提。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI调整Codex额度:Pro 100/500翻倍,Plus用户未获益

    智东西10月30日报道,凌晨,OpenAI Codex和ChatGPT负责人Tibo宣布,Codex和ChatGPT Work的Pro100、200、500以及Business Premium的订阅使用额度翻倍。 Tibo称,OpenAI听到了Pro 200订阅用户的友善反馈,决定撤回原定于10月30日执行的额度削减计

    来源 AI 行业观察
  2. 周而进谈具身模型:GPT-6 Astra 来了,专用路线还成立吗?

    界面新闻记者 | 肖芳界面新闻编辑 | 文姝琪GPT-6 Astra的发布,让一个长期存在的路线之争再次浮出水面:专门做具身的模型,还有存在的必要吗?作为通用大模型,GPT-6 Astra接入机器人后,已经能够理解人类指令、拆解复杂任务,并按照步骤执行。如果通用模型的能力持续增强,它是否有可能逐步取代专门面向机器人训练

    来源 腾讯网
  3. OpenAI更新模型规范:五大准则重构,忠于人类意图居首

    IT之家 10 月 30 日消息,OpenAI 于当地时间周四更新了其模型规范(Model Spec)文档,这是一份用于明确其 AI 模型行为准则的公开路线图。随着 AI 系统能力持续增强,OpenAI 围绕五大核心价值对该框架进行了重构。 OpenAI 将模型规范重新归纳为五项准则:忠于人类意图、降低伤害、诚实透明、

    来源 AI 行业观察
  4. OpenAI与Oracle扩大合作:ChatGPT、Codex接入企业核心系统

    OpenAI这次,直接杀进企业核心系统了!10月27日,在美国拉斯维加斯举行的Oracle AI World大会上,Oracle宣布与OpenAI扩大合作!要把OpenAI的ChatGPT和Codex,全面接入Oracle的产品体系中去。OpenAI 的奥头曼也亲自到场站台,看来是非常重视和甲骨文的合作。左:OpenA

    来源 腾讯网
  5. OpenAI闭源再拿安全说事,中国开源模型已追到眼前

    美国AI大模型的发展路径正经历一场耐人寻味的转向:起步阶段曾拥抱开源,如今主要巨头却集体转向闭源,OpenAI更是一度违背初心走向盈利。日前,OpenAI CEO奥特曼再次为这一选择公开辩解,理由依然是——为了大家的安全。

    来源 TechWeb
  6. 大晓机器人ACE-Brain API开放:150万数据训练,七项基准75.41分

    近日,继ACE-Brain-0.6在六项空间锚定评测中超越GPT-6 Astra后,大晓机器人正式推出ACE-Brain-0.6 API。从平均得分大幅提升到推理速度超越Astra,ACE-Brain-0.6再次验证了数据Scaling驱动专业具身能力持续跃升的技术潜力。如果说评测领先Astra,让ACE-Brain-

    来源 TechWeb
  7. 大晓机器人开放ACE-Brain-0.6 API,七项Grounding基准均分75.41

    近日,继ACE-Brain-0.6在六项空间锚定评测中超越GPT-6 Astra后,大晓机器人正式推出ACE-Brain-0.6 API。从平均得分大幅提升到推理速度超越Astra,ACE-Brain-0.6再次验证了数据Scaling驱动专业具身能力持续跃升的技术潜力。如果说评测领先Astra,让ACE-Brain-

    来源 TechWeb
  8. GPT-6 Astra直接操控机械臂,具身智能行业50天连锁反应

    一只几百美元的机械臂夹着一支画笔,在白纸上画金门大桥。 它一共画了四遍,画完一次换一张纸,摄像头把每一遍的画面记录回传,AI总结复盘并调整下一笔的力度和位置。第一遍,线条歪歪扭扭;第二遍,桥的轮廓出来了;第三遍、第四遍,桥塔、悬索一点点清晰。 整个机械臂画画的过程看似平平无奇,但让机械臂动起来的,不是任何专为机器人训练

    来源 AI 行业观察
  9. OpenAI融资目标下调:拟募200亿美元,估值1.25万亿美元

    10月31日消息,据媒体报道,OpenAI已将新一轮融资目标下调100亿美元,由此前的300亿美元缩减至约200亿美元,目标估值为1.25万亿美元。另据媒体报道,OpenAI估值从1.4万亿美元下调至1.25万亿美元的进展已于10月披露,此次融资金额目标进一步收缩。OpenAI寻求在2027年上市,同时希望赶在Anth

    来源 TechWeb
  10. OpenAI融资目标下调百亿:约200亿美元,估值1.25万亿

    10月31日消息,据媒体报道,OpenAI已将新一轮融资目标下调100亿美元,由此前的300亿美元缩减至约200亿美元,目标估值为1.25万亿美元。另据媒体报道,OpenAI估值从1.4万亿美元下调至1.25万亿美元的进展已于10月披露,此次融资金额目标进一步收缩。OpenAI寻求在2027年上市,同时希望赶在Anth

    来源 TechWeb
  11. 人类要关停,AI不能躲,OpenAI更新模型家法

    10月29日,OpenAI 为它的模型更新了「家法」: 新版Model Spec。 这份文件为OpenAI的模型定下了行为规范。 其中一条要求模型在人类监督面前「保持可纠正」,说白了,人类要关停,AI不许躲。 新版文件围绕五项价值观升级:忠于人类意图、减少伤害、诚实透明、促进人类自主、关怀他人。 这五项之上还规定了一组

    来源 AI 行业观察
  12. OpenAI融资目标降至200亿:估值1.25万亿,阿联酋财团或领投

    【TechWeb】10月31日消息,据媒体报道,OpenAI已将新一轮融资目标下调100亿美元,由此前的300亿美元缩减至约200亿美元,目标估值为1.25万亿美元。 据悉,本轮融资的投资者出资承诺截止日为10月30日,部分投资者已缩减认购额度,首轮交割预计筹得的资金将低于200亿美元。目前交易仍处于筹资阶段,募资目标

    来源 AI 行业观察
  13. OpenAI发布GPT-6.1 Terra:编程能力提升,价格砍半

    在Anthropic正式公开提交IPO招股书的同一天,OpenAI发布了新模型GPT-6.1 Terra。这是Terra系列时隔三个多月的首次更新,距离9月29日GPT-6.1 Sol发布也已经过去了27天。OpenAI在官方宣传中着重强调:“以更低的价格,提供快速且强大的电脑操作能力。”但网友们似乎并不买账。“老兄,

    来源 腾讯网
  14. OpenAI重塑模型规范:五价值观锚定人类意图

    OpenAI周四更新了《模型规范》,这份公开路线图阐述了其AI模型应如何表现。新框架围绕五项价值观构建,包括忠于人类意图、最大限度减少伤害、诚实与透明、尊重人类自主权和关怀。OpenAI表示,忠于人类意图是基础,要求模型理解各方意图而非字面执行。目前模型尚未完全体现新规范,OpenAI正探索新训练方法,此举也呼应了An

    来源 凤凰科技
向下滚动自动加载更多