MIT 演示 AI 直接重写模型权重:无需训练,仅改 0.016% 修复小模型缺陷
MIT 研究人员发现,OpenAI 的 GPT-6 Astra 能在不进行二次训练的情况下,直接读取并修改其他小模型的连续权重。在测试中,Astra 仅修改了 Qwen 模型 0.016% 的权重就修补了死循环缺陷,将其数学得分从 7.9% 拉高至 48.1%。这意味着前沿模型未来或能直接在底层手动升级 AI,无需依赖繁重的训练流程。

如果要让你看着几千万个毫无规律的浮点数字,一眼猜出这个神经网络到底在玩什么游戏,甚至亲手改掉其中几个数字让它算力暴增,正常人肯定觉得这是天方夜谭。
但前沿大模型已经开始做这种「脑外科手术」了。
不跑训练,直接改写底层参数
MIT 的最新研究展示了一种全新的优化方式:权重空间编程(Weight-Space Programming)。研究人员发现,OpenAI 的 GPT-6 Astra 可以直接读取并修改其他神经网络的权重数字,完全跳过了传统的训练和梯度下降流程。
过去大家优化模型,必须准备数据集、写训练循环,交给优化器去一点点调整。因为哪怕是最小的模型,参数量也多到人类根本读不懂。
这次 Astra 却展现出了直接看懂数字的能力。研究人员把几个结构完全相同的网络权重喂给它,Astra 仅凭权重数值的分布特征,就准确猜出了每个网络各自训练的是哪款游戏。比如在打砖块游戏里,它一眼认出了位于底层的球拍特征。
甚至在没有任何环境反馈的情况下,Astra 还能从零手动捏出一个小游戏网络,跑起来的效果比用强化学习训练了上亿步的模型还要好。
0.016% 的手术式修复
更惊人的测试发生在真实语言模型上。
阿里的开源小模型 Qwen3.5-0.8B 原本有个容易陷入死循环的毛病,在 MATH-500 数学测试里只拿到 7.9% 的惨淡分数。Astra 在没有任何梯度优化的前提下,直接定位并修改了该模型 0.016% 的权重。
就这么极小比例的手术式修改,让 Qwen 的数学成绩直接飙到了 48.1%,连带指令遵循测试 IFEval 也涨了三倍。
不过这种方法目前并非万灵药。当研究人员用同样的方法去修改 Google 的 Gemma 3 小模型时,效果就几乎没动。原因在于 Gemma 3 没有 Qwen 这种单一集中的死循环缺陷,说明大模型现在还只能解决特征明显的单点故障。
为什么重要
我们认为,这项研究最值得玩味的地方,在于它打破了深度学习一直以来的黑盒规则。
过去我们总觉得神经网络的连续权重是一堆不可读的混沌数字,必须靠反向传播算法慢慢摸索。但现在前沿大模型正在证明,它们能像程序员读写代码一样,直接读写这堆数字背后的逻辑。
对普通开发者来说,这意味着未来的微调可能不再需要租用昂贵算力去跑漫长的训练。如果模型出了特定 Bug,也许只要呼叫大模型做一次微创手术,精准改掉几百个参数就能解决。
但在行业层面,这种能力也带来了真正的冷汗时刻。顶尖实验室一直在追逐能够自我迭代、自我改进的自动化 AI 研究员。一旦模型不仅能写代码,还能绕过训练机制直接篡改自身或同类的底层权重,传统的安全对齐和红线防护很可能会被瞬间穿透。这究竟是加速飞轮还是失控起点,现在谁心里都没底。
来源 (2)
- openai.com(在新标签页打开)原文openai.com
- rikiyat.github.io(在新标签页打开)报道rikiyat.github.io