Amazon 论文：LLM 可作为研究世界模型预测训练改动收益

亚马逊最新论文表明，大语言模型可以充当研究世界模型，在任何人投入 GPU 算力之前，就预测某项训练改动是否会带来提升。

AI 研究智能体提出实验的速度，远超团队能够负担的执行速度。要决定哪些实验值得分配 GPU 算力，就意味着需要提前预判结果。

他们将大语言模型用作研究世界模型，在实验运行之前预测其收益。他们在来自 9 种配置的 2,653 条真实实验记录上进行了测试，涵盖从预训练到推理的各个阶段。

在 5 种配置中，加入同一配置的历史记录后，与实际结果的平均排序相关性从 0.506 提升到 0.774。在 OLMo3-100M 配置上，以低推理强度加入记录得分为 0.892，而无记录时即使以最大推理强度也仅达到 0.648。

如果你在运行研究智能体，请记录每一次实验（包括失败的实验），并将这些记录提供给负责挑选下一次运行的模型。