GPT-6 Astra改写权重救活小模型,普通人也能在家训AI
这两天,MIT的一篇「权重空间编程」博客在AI圈刷屏了。 实验里,GPT-6 Astra自己写Python脚本排查诊断,只改了一个0.8B小模型里0.016%的权重,就治好了它的复读死循环,让数学成绩原地暴涨6倍。 顶尖大模型已经不满足于自己答题,而是开始下场写脚本、调参数、甚至亲手训练另一个AI了。 何止能,靠着Na
最近,MIT一篇讲「权重空间编程」的博客在AI圈传得很广。实验当中,
GPT-6 Astra自己动手写Python脚本做排查诊断,只改动了0.8B小模型里0.016%的权重,就把它反复复读的死循环给治好了,数学成绩一下子涨了6倍。
现在顶尖大模型已经不光是答题,还开始写脚本、调参数,甚至亲手去训练另一个AI。
这还不算,NaiveAI刚开源的Naive-N0.5-Flash一出来,各路玩家早就在自己电脑上玩出了各种花样——
小红书博主「不要葱姜蒜」是开源项目self-llm的作者,他直接拿家里那台24GB内存的Mac干了一票大的。
结果第一轮刚跑完,分数不升反降,掉到了7.229分。问它一句「你是谁」,训出来的模型开口就说「我叫安陵容」——甄嬛还没训明白,安陵容倒先被请出来了。
找到问题所在后,它马上写脚本把其他角色的口头禅剔掉,筛出566条地道的甄嬛台词重新训练,串戏的毛病一下就没了。
「什么格式的回复,臣妾不懂。妹妹若要问宫里的事,我告诉你。」
让强模型来当「总教练」,在本地孵出一个6毫秒就能回、断网也能用、数据不出内网的专精小模型,垂直场景里速度与隐私兼得,这才是最优解。
硅谷所说的RSI,其实不是一步登天,而是一级一级往上走。第一级早成了不少人的日常,如今普通人也已经站上了第二级。
打开自己的电脑,就能叫来一个懂权衡、会排雷的「 AI 研发搭子」,替你训出专属模型。
属于普通人的Vibe Training时代,已经正式开场了。