Meta 论文比较前沿智能体从经验中学习的效率差异

Meta 的一篇新论文显示，前沿智能体在从经验中学习的方式上差异很大，而且表现最好的那个并不是学习效率最高的。

大多数智能体测试只衡量模型一次性能做到什么，却忽略了它能否通过过往尝试构建工具、笔记和技能来变得更好，以及为此付出的代价。

他们冻结了模型权重，让智能体玩国际象棋、围棋、Hex 和 NetHack，每轮之后由智能体重写自己的工具和笔记。随后他们对留出的对局进行评分，并将可塑性定义为每花费一美元学习成本在留出对局上的提升。

在高难度国际象棋中，Claude Fable 5 在留出对局上的表现从 37.5% 提升到 73.3%。在国际象棋、围棋和 Hex 三项合计，GPT-5.6 Sol 每花费 1,000 美元学习成本可获得 298 分提升，而 Claude Fable 5 只有 57 分。

在评估自我改进的智能体时，要跟踪留出集上的学习曲线和成本，并检查智能体是否真的用上了它保存下来的东西。