研究探索让大模型直接修改其他模型权重

MIT 研究人员尝试让 GPT-6 Astra 直接读取、生成和修改其他模型的权重，部分实验取得了明显效果。其中，Qwen3.5-0.8B 只改动了 0.016% 的权重，数学测试准确率就从 7.9% 升到 48.1%。

但先别把它理解成「大模型已经能随意重写另一个模型」。按 The Decoder 的报道，这些实验更有价值的发现是：语言模型可能找到妨碍已有能力发挥的故障，并通过修改权重修复它。能不能凭空补上模型缺少的能力，证据还不支持。

直接看权重，究竟能看出什么

权重是模型内部大量可调整的数值，通常以矩阵组织。常规训练通过反复计算误差、更新参数来调整它们；研究人员称为「权重空间编程」（Weight-Space Programming）的做法，则让语言模型直接分析或改写这些数值。

不过，实验里的操作条件并不统一。有些只允许 Astra 看数字，有些允许使用编程工具、运行测试，再根据反馈修改权重。不能把后者的成绩都归到「扫一眼矩阵就懂了」上。

在只读权重的实验中，Astra 能判断一个网络对应四款电脑游戏中的哪一款，也能识别图像生成器生成的基本形状，但会混淆实心图形和轮廓。它还能匹配小型语言模型的训练语言，过程中既不能访问训练数据，也不能运行模型。

判断模型是否迎合用户，则更困难。只看两个微调模型的权重，Astra 起初分辨不出来。允许它观察模型处理文本时的注意力信息后，它才在全部三组模型配对中认出了迎合用户的那个。

这里的边界很清楚：权重确实包含可被识别的信息，但读取任务类别和理解复杂行为，还不是同一档能力。

不经过传统训练，也能写出会玩的模型吗

研究人员还让 Astra 根据游戏规则和源代码，直接生成三款简单电脑游戏所需的模型权重。

按报道，这些模型超过了使用标准方法训练 1 亿轮的基线。Breakout 的差距尤其大：Astra 生成的模型平均得到 517 分，训练基线只有 25 分。不过，在另外两款游戏中，Astra 仍落后于训练时间最长的版本，不能据此推导出手写权重全面胜过训练。

9×9 围棋实验更接近一种反复试错的开发过程。Astra 为约 150 万参数的网络编写权重，获得 50 次测试迭代机会，每轮最多进行 128 局练习，再根据结果修正权重。最终，它击败了参数规模相近、经过约 2000 万局训练的模型。

没有使用传统训练，不等于没有使用反馈和计算资源。

尤其是围棋实验，Astra 仍在执行「生成方案、测试、修正」的循环。原文没有交代完整的成本、耗时与资源对照，因此可以讨论效果，还不能据此判断它一定更便宜。

Qwen 的提升，更像修通了已有能力

最接近实际模型维护的实验，针对的是 Qwen3.5-0.8B。研究人员给 Astra 一个编程环境，以及 50 次使用练习题测试和调整的机会，最终用 Astra 没见过的独立题目评估。

Astra 找到的问题，是 Qwen 自身模型文档已经提醒过的「思考循环」：模型不断重复相同文本，迟迟不给答案。它随后只改动了 0.016% 的权重，结果包括：

• MATH-500 数学基准准确率从 7.9% 升至 48.1%。
• 指令遵循能力从 21% 升至 62%。
• 触及最大输出长度的回答比例，从 93% 降至约三分之一。

最后一个数字很关键。循环没有彻底消失，而且数学分数上涨，也不必然代表模型学会了同等幅度的新数学知识。研究人员的解释是，Astra 可能移除了压制已有能力的障碍，让模型更有机会完成回答。

这个解释有一个相应的反例：对很少出现此类循环的 Gemma 3 270M，Astra 没能带来可测量的提升。

修复能力无法正常发挥的问题，与给模型增加原本缺少的能力，需要分开评价。

前者有这次实验的结果支撑；后者在实验中没有得到证明。

我的判断

我更看好它作为模型诊断和定点修复手段的价值。对于重复输出这样的明确故障，直接调整少量权重，确实提供了常规微调之外的研究路径。

但报道没有给出与常规微调、解码参数调整等方法的完整对照，也没有说明这些修改对其他任务会产生什么影响。现在就认定它更省钱、更稳定，依据不足。修改比例小，也不能直接证明影响范围小。

「全新范式」同样需要保留。Jürgen Schmidhuber 指出，相关思路在他 1990 年代的研究中已经出现；Khattab 回应称，他们引用了这些工作，新的进展在于今天的语言模型更善于在人类语言与网络数值之间转换。因此，更稳妥的看法是：旧方向出现了值得继续验证的新能力。

研究人员提到的权重安全审计、定向行为修改，目前仍是潜在用途。系统性评测基准还在计划中，虽然实验日志已放到 GitHub、修改后的 Qwen 模型已放到 Hugging Face，报道也没有提供足够信息让普通团队直接复刻整套流程。

能拿来做什么

• 在 Node 接入小模型时，如果遇到重复输出和答案迟迟不结束，可以同时记录任务准确率、输出长度和触及长度上限的比例，避免只凭最终分数判断模型能力。
• 给 AI 编程助手更换或调整底层模型时，应保留独立评测题，并分别检查任务完成情况和指令遵循情况；这次实验的改动同时影响了两个维度。
• 如果团队正在研究开放权重模型，可以把这项工作当作定点修复的研究样例，重点检查修改能否复现、对其他任务是否有影响，再决定是否投入。
• 如果只是通过 API 使用模型，这篇研究更适合帮助理解能力边界。原文没有提供通过普通 API 直接改写模型权重的方法。