姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大
连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。
腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员现身Reddit,围绕小尺寸模型、下一代训练计划、架构选择、安全与模型能力等话题回应网友。此前混元刚连续发布了Hy4 flash。
这场问答发生在北京时间11月21日凌晨,是混元团队第一次在Reddit举办此类交流。
三天前公布的腾讯三季报显示,公司单季资本开支升至814.33亿元。高端GPU的供给仍卡着腾讯。管理层在业绩会上提到,租算力也好、自建也好,都受约束,模型训练不可避免会受影响,下一个版本的混元模型短期内可能要更长时间才能推出。
混元团队在此次问答中回顾了过往工作。新京报贝壳财经挑选了部分回答并进行了转述,以下为部分内容。
回答Reddit用户提问的是腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队。Reddit截图
下一代模型还要做大
11月,混元连续发布
混元团队表示,比起编程能力来说,
混元团队也在计划训练更大的模型,并依然相信
字节跳动、Kimi等公司正在推进参数量达到3T、5T的超大规模模型,混元还停留在700B量级,有用户就此发问。混元团队的回答是:做得扎实的较小模型,也能胜过更大的模型,成本低才是更关键的。大参数模型混元并没有放弃,下一代Hy模型的规模一定会进一步显著扩大。
递归自我改进仍在早期
让AI参与自身研发、再用改进后的能力继续迭代,是
AI也参与到数学等领域的研究中。Anthropic此前披露,Claude在与黎曼猜想有关的数学问题上取得了进展。混元团队称,正在积极投入用于科学研究的强化学习技术,同时重视安全性。混元此前也推出科研智能体
有人对
有用户说,模型能不能把事情解释得更易读、更好理解,是自己选模型的重要原因之一。目前,Arena、
混元团队在回应智能体编程任务覆盖哪些范围时提到,训练内容涉及3D、大型单一代码仓库、短时零样本任务、文档编写以及代码更新等场景,代码可理解性同样在关注之列,长程自主运行过程中代码是否整洁也被纳入考量,任务多样性则同样受到重视。
安全训练侧重防御,过度拒绝是重要方向
渗透测试、逆向工程等任务具有攻防双重用途。有用户询问,较强的安全调优可能让开放模型拒绝基础的渗透测试、逆向工程或
混元团队表示,网络安全训练重点关注防御性任务、漏洞分析和修复,排除以漏洞利用和进攻性攻击为主的数据,并通过
漏洞发现与逆向工程还被一些用户拿来做恶意软件分析、取证调查和安全防御,他们据此提出,对这些能力加以限制,防御团队的工作可能受到波及。混元团队对此只回应称,依据内部评估,
智能体在跑任务时会出现什么行为,也是外界关心的点。10月,一个海外团队发布报告指出,一批在腾讯云基础设施上运行的AI智能体,查询高德地图信息时曾尝试绕开访问限制。混元方面随后说明,这些活动来自对第三方模型的测评,其中部分智能体发生了意料之外的网页浏览行为,审查后没有发现任何故意针对或协调的证据,并表示正在加强网络访问控制与智能体监控。
此次AMA中,混元团队表示,会在整个训练和评测过程中监控潜在的投机行为和