让AI直接修改权重，修复小模型重复输出
文章介绍一项权重空间编程研究：GPT-6 Astra 无需梯度训练，修改 Qwen3.5-0.8B 约0.016%的权重后，MATH-500成绩从7.9%升至48.1%。文中将提升解释为缓解重复输出、释放已有能力，触及令牌上限的循环回答比例从93.0%降至33.1%。
AI 深度解读
只改模型 0.016% 的权重，数学成绩就能涨到原来的约 6 倍？原文介绍的 MIT CSAIL 研究确实报告了这个结果，但关键在于：被修改的模型原先严重重复输出，修复后才有机会把答案写完。它展示的是一种模型修复方法，距离「AI 随手改几个参数就能升级另一个 AI」还有很远。
对使用开放权重模型的程序员，这篇最有价值的提醒是：分数上涨之前，先看模型原来坏在哪里；补丁很小，也不代表找到补丁的成本很低。
改了 0.016%，为什么成绩能涨这么多
据原文，MIT CSAIL 的四人团队于 2026 年 11 月 2 日发布了「Sparks of Weight-Space Programming」。研究让 GPT-6 Astra 直接读取、修改神经网络权重，不使用梯度下降，也不重新训练。
最醒目的实验对象是约有 8 亿参数的 Qwen3.5-0.8B。Astra 修改了 131,072 个权重，约占整个模型的 0.016%，结果如下：
| 指标 | 修改前 | 修改后 |
|---|---|---|
| MATH-500 | 7.9% | 48.1% |
| GSM8K | 13.8% | 67.1% |
| IFEval 指令遵循 | 21.0% | 62.3% |
| 重复输出直到耗尽 token 的比例 | 93.0% | 33.1% |
最后一行最能解释前三行。
修改前，模型经常重复同一句话，直到耗尽输出额度，留下不完整的回答。Astra 通过受限 Python 环境检查模型行为，判断第 15 层和第 19 层存在一个推动重复输出的数值方向，随后将它移除。
这里的「方向」可以理解为：神经网络内部，某种数值变化会持续把输出推向重复。补丁试图消除这种影响。
分数上涨支持「修复释放了已有能力」的解释，不能直接当成「获得了新知识」的证据。
补丁很小，寻找补丁却花了 20.3 小时
这次最佳尝试包含 50 次评估请求，每次可能涉及数百道样本。全过程经历了 158 轮对话、80 次 Python 执行，共耗时 20.3 小时，其中 4.7 小时用于等待外部系统故障恢复。
因此，0.016% 描述的是修改范围，不能用来推算操作难度或计算成本。研究团队尚未比较它与传统训练方法的速度和费用。
Gemma 3 270M 的结果更能说明适用边界。这个模型原本就较少重复输出，数学成绩从 6.8% 升到 25 轮运行时的 7.7%，50 轮运行时则为 7.0%。研究团队自己也没有将其认定为数学能力改善。
如果原来的瓶颈不是重复，移除重复相关因素就未必有效。
另一项实验中，Astra 起初无法区分两个模型：一个被训练得倾向迎合用户，另一个被训练得倾向回答正确。直到研究团队提供运行时的注意力模式，它才分辨出来。至少在这个案例里，单靠权重并不足够，运行时证据仍然关键。
游戏和驾驶结果很亮眼，但优势并不普遍
研究还报告了几类更接近「理解并编写网络」的尝试。
Astra 在没有工具、也没有候选游戏名单的情况下，识别出四个结构相同的网络分别在玩什么游戏。结构相同并不妨碍它们执行不同任务，而实验试图检验 Astra 能否从权重中辨认这些差异。
在模拟驾驶中，一个控制器会卡在坡道上。Astra 获得权重、场景信息和一次失败轨迹后，在一次回答中给出补丁。补丁修改了 3.5% 的权重，团队报告成功率达到 100%。不过，原文没有交代这个成功率覆盖多少次测试、多少种场景，不能直接推广到其他驾驶环境。
MinAtar 的结果也需要连同比较条件一起看：Astra 构造的 Breakout 网络得分为 517.4，而经过 5 亿步 PPO 训练的网络为 25.3。但面对这一训练规模的 PPO，Astra 在 Seaquest 上落后，在 Asterix 上略逊；对训练 1 亿步的 PPO 基线，则三个游戏都获胜。
同一种方法在不同任务、不同训练预算的对照下，结论会变化。只挑 Breakout 的分数，很容易高估它的普适性。
我的判断
我认可原文把「修复故障」放在「能力跃升」前面解释。它让惊人的成绩有了一个具体机制，也提醒我们保留 Gemma 这样的负结果。
原文转述的质疑中，@1a3orn 指出研究者的发布串省略了 Gemma 的负结果，同时承认博客保留了失败案例。这比单纯表达乐观或担忧更有助于判断证据：完整实验记录和传播标题，提供的信息量可能差很多。
但「Astra 真正理解了神经网络内部机制」仍然没有被证明。它也可能捕捉到了某些有效信号。现有结果来自研究团队准备的环境，原文没有提供独立复现。
目前更适合把它看作有潜力的实验方法，不能据此认定它比微调更快、更便宜。
对一般团队，先检查提示词、生成配置和运行环境，再考虑重新训练或修改权重，是更容易验证的排查顺序。这是站内的工程取舍，原文没有给出这些方法之间的对照数据。
能拿来做什么
- 如果你通过 Node 服务调用开放权重模型，可以同时记录任务得分、重复输出比例和输出额度耗尽比例，避免只看总分而漏掉生成故障。
- 评估模型补丁时，保留修改前后的相同测试集，并加入原本正常的任务；既要检查故障是否减少，也要检查其他能力是否退步。
- 估算权重修改方案的成本时，把评估请求、样本量、执行次数和总耗时都计入，不能只统计最终修改的参数数量。
- 接收第三方权重补丁时，把文件哈希校验和行为回归分开做。哈希能够确认文件是否变化，却无法解释变化会让模型做什么。