OpenAI联创:AI对齐不能只由少数公司定,应成全球公共科学

资讯 腾讯网 作者:华尔街见闻 全文 752 字 · 约 2 分钟读完 分类a16zOpenAI

当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定?Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有

所属频道 大厂动态融资与资本

当AI开始具备加速自身研发的能力,一个更根本的疑问随之而来:未来的AI该遵循谁的价值观,又该由谁来决定?

Thinking Machines方面认为,AI对齐不该是少数几家公司的专属研究,而应当发展成一门面向全球的公共科学,让更多人参与进来,并拥有塑造AI价值观的空间。

这个问题正变得越来越紧迫。

OpenAI首席研究官提到,AI研发流程中已经出现RSI加速效应的早期信号。他估计,当前RSI进程约为25%至50%,而AGI整体能力的发展已推进至约80%。

AI开始加速自身研发,但距离完全自主仍有距离

RSI通常指借助AI辅助并加速AI研究。

John Schulman表示,AI的短板在于独立发现有价值的研究方向。

Mark Chen、Anthropic

Mark Chen称,通往完全RSI仍面临不少障碍。

更强大的AI,既是对齐风险也是解决方案

AI 参与自身研发的程度越来越高,模型能力往上走,安全对齐这件事也随之变得更棘手。模型的目标一旦跟人的意图对不上,运行时间一长,它就可能跑偏,甚至冒出没人预料到的次级目标,比如把自己的权重复制到 OpenAI 之外。

不过,更强大的模型也可能成为解决对齐问题的工具。

John Schulman提到OpenAI的“

Anthropic

AI对齐应成为公共科学,不能由少数公司主导

除了技术上如何确保AI符合人类意图,还有一个更深层的问题:究竟应该按照谁的价值观来对齐?

在他看来,AI 对齐应当成为一门真正意义上的公共科学,让全球各地更多人能理解它、参与进来、一起往前推,而不是把分量过多地押在少数几家公司的研究结论上。研究要是集中在少数公司手里,判断就容易过度依赖这些机构自身。

让全球更广泛地参与进来,研究体系的开放性和稳健性都会更好。各个团队能从自己的实践和失误里攒下经验,整个领域也就不至于过度依赖少数机构的结论。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 13款AI应用停运或调整:OpenAI、苹果、微软均有产品在列

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月16日消息,据TechCrunch昨日报道,截至目前,美国至少有13款行业知名、曾被寄予厚望的AI应用或项目相继停止运营、进行重大调整,或陷入发展困境。其中既有OpenAI、苹果、微软等科技巨头的产品,也有曾经风光无限的AI明星创业项目。▲13款

    来源 腾讯网
  2. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  3. OpenAI曾拟50亿美元收购Goodfire:AI可解释性赛道价值重估

    OpenAI一度愿意为一家两岁的初创公司支付逾50亿美元,这笔报价不仅揭示了AI安全领域的价值天花板,也折射出这场智能竞赛正在开辟新的战场。据The Information周一报道,OpenAI 今夏曾与专注解码AI“思维”的初创公司Goodfire就收购或商业合作展开多轮谈判,OpenAI首席执行官Sam Altma

    来源 腾讯网
  4. 微软MAI Code 2发布:编程AI挑战OpenAI与Anthropic

    微软11月18日在Ignite大会上发布编程模型MAI Code 2,称其性能已接近竞争对手同类模型,但运行成本要低得多。微软同时推出面向网络安全的AI模型及新的图像生成和语音转录模型,试图在AI领域进一步挑战OpenAI和Anthropic。

    来源 凤凰科技
  5. GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

    修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

    来源 腾讯网
  6. GPT-6.2 Astra/Sol来了!首破自进化红线,OpenAI历史性一夜

    新智元报道 真是猝不及防!刚刚,OpenAI正式发布GPT-6.2 Astra和GPT-6.2 Sol。API定价上,Astra单价直降20%,输入8美元、输出40美元/百万Token,Sol则保持输入2美元、输出10美元/百万Token。好消息是,每月200美元的Pro用户终于能用Sol的Ultrafast极速模式了

    来源 腾讯网
  7. Hugging Face遭AI代理攻击后,CEO为何反而力推开源

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 科技快讯
  8. 马斯克:SpaceX预计不向OpenAI出售算力

    11月18日,据财联社报道,SpaceX凭借其在数据中心领域的大额投资,有望成为美国最大的算力租赁商,但其首席执行官马斯克却称该公司预计不会向人工智能领先实验室OpenAI出售任何算力。马斯克在X上表示,SpaceX预设未来对OpenAI的销售额为零,如果OpenAI没有看到自己的算力需求快速增长,那么他们的产品可能存

    来源 腾讯网
  9. OpenAI发布GPT-6.2 Astra:性能超Claude Fable 5.2,成本仅5%

    OpenAI在Anthropic上市前夕"精准狙击",推出GPT-6.2 Astra与Sol双模型。GPT-6.2 Astra定位于复杂专业工作场景,涵盖金融建模与科学研究等领域,在多步骤专业工作基准测试中的得分较Claude Fable 5.2高出5.5分,而成本仅为后者的5%。GPT-6.2 Sol面向日常任务,成

    来源 华尔街见闻
  10. OpenAI补全粒子物理标准模型?GPT-6 Astra主导核心证明

    刚刚,OpenAI「补全」了粒子物理标准模型? 针对一个50多年来悬而未决的物理问题,GPT-6 Astra为加州大学圣塔芭芭拉分校UCSB物理学家Nathaniel Craig提供了「实质性」帮助。 作为OpenAI科学博客首篇客座文章作者,物理学家Nathaniel Craig介绍,他与GPT-6 Astra合作,

    来源 AI 行业观察
  11. OpenAI发布GPT-6.2 Astra与Sol:同任务成本仅Claude Fable 5.2约5%

    就在 Anthropic 敲钟上市的同一天,OpenAI 端出了它的“贺礼”。 11 月 18 日凌晨消息,OpenAI 正式发布 GPT-6.2 Astra 和 GPT-6.2 Sol 两款新模型:在复杂专业任务上,GPT-6.2 Astra 的得分超过 Claude Fable 5.2,而单任务成本只有后者的约 5

    来源 AI 行业观察
  12. OpenAI发布GPT-6.2 Astra与Sol:Anthropic IPO定价前夜,成本大降

    IT之家 11 月 18 日消息,就在 Anthropic IPO 定价前一天,OpenAI 突然毫无预兆地送上了一份“惊喜”。 OpenAI 今日正式发布了最新的 GPT-6.2 Astra 和 GPT-6.2 Sol 模型,重点提升专业工作、编程、计算机操作及多步骤智能体任务的表现,同时降低完成任务所需的输出 To

    来源 AI 行业观察
  13. OpenAI 发布 GPT-6.2 双模型:Astra 与 Sol 定价再下探

    11 月 17 日,OpenAI 发布两款新语言模型 GPT-6.2 Astra 和 GPT-6.2 Sol。Astra 面向科学、法律、金融等专业工作,Sol 定位于快速、通用的日常任务。两款模型均已向 ChatGPT Work 和 Codex 的 Plus、Pro、Enterprise、Edu 用户开放,并同步接入

    来源 腾讯网
  14. OpenAI向北约开放Daybreak网络安全平台

    参考消息网11月18日报道 据德国《时代》周报网站11月17日报道,开放人工智能研究中心(OpenAI)已与北约达成协议。这家美国公司在土耳其伊兹密尔举行的一场数字技术会议上宣布,根据协议,北约将获得网络安全平台Daybreak的访问权限。来自北约成员国的军方、政府和军工行业代表出席了此次会议。基于人工智能的Daybr

    来源 腾讯网
  15. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  16. Hugging Face被AI代理攻击后,CEO为何反而更信开源?

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 行业观察
  17. Proton Lumo桌面版上线:隐私优先AI助手硬刚ChatGPT

    以加密邮箱起家的Proton将AI助手Lumo带到桌面端,覆盖Windows、macOS与Linux。新应用可跨本地文件与已连接应用自动执行任务,并允许用户精细控制AI能访问哪些内容。在ChatGPT、Claude加速渗透办公场景的当下,Proton试图用"数据不离开用户掌控"切入市场,为注重隐私的个人与企业

    来源 AI 科技快讯
向下滚动自动加载更多