rohanpaul_ai· @rohanpaul_ai · X·· 2 小时前AI 评分
MIT 研究人员用 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重提升数学准确率
MIT 研究人员使用 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的权重,在不训练的情况下将其 MATH-500 准确率从 7.9% 提升至 48.1%。
太夸张了。麻省理工学院研究人员证明,GPT-6 Astra 可以通过直接修改另一个 AI 模型的权重来提升其性能,无需进行训练。
在这里,GPT-6 Astra 仅通过编辑 Qwen3.5-0.8B 权重中的 0.016%,未经过训练,就将其在 MATH-500 上的成绩从 7.9% 提升至 48.1%。
Astra 在一个 Python 笔记本中获取了 Qwen 的权重,并获得了在练习数学题上进行 50 次测试运行的预算。它发现模型会不断重复自身,直到达到长度上限;随后将这一习惯追溯到由模型其中 2 层写入的单一内部信号,并从权重中减去了该信号。
循环消失后,模型就能完成它本来就有能力解出的题目。
这一精准的单次编辑改动了 0.016% 的权重,将数学准确率从 7.9% 提升至 48.1%。
来源:rohanpaul_ai · x.com