Meta 论文发现强化学习后训练会提高智能体首次尝试成功率却降低多次尝试求解率

Meta 的一项新论文发现，强化学习后训练会让智能体首次尝试时的表现更好，却会降低它在拥有 128 次尝试机会时找到解决方案的能力。

人们通常认为，强化学习会教会智能体调用工具等新技能。

这种说法主要来自数学和编程领域，因为基础模型已经见过海量数据。

他们在 3 个智能体基准测试中测试了 14 对基础模型与后训练模型，每项任务最多尝试 128 次。他们还构建了 PTGS——一种在困难提示上提高温度、在简单提示上降低温度的采样器。

在 WebShop 上，gemma-4-31B 基础模型在 128 次尝试内解决了超过 85% 的任务，而后训练版本仅为 56%。在 42 组模型与基准测试组合中，有 36 组的“锐化税”（Sharpening Tax）为正值，这意味着解题覆盖率有所下降。

在为可重试的智能体选择后训练模型之前，应测量它最终能够解决多少任务，而不只是看首次尝试的准确率。