智能体 RL 数据合成 scaling laws 论文解读

这篇关于智能体强化学习（agentic RL）数据缩放定律的论文非常出色。

如果你正在为智能体强化学习合成数据，这是一篇值得一读的好论文。

（收藏一下）

他们沿着任务、环境和轨迹三个维度拟合了智能体强化学习数据的缩放定律。在不同模型规模、模型系列、领域，以及 PPO 和 GRPO 两种方法下，指数的排序都是一致的：环境高于任务，任务高于轨迹。

环境优势似乎主要来自世界的多样性，也就是真正不同的场景。改变同一个世界的结构，其效果与增加任务大致相当。

这些定律还为每种合成方法给出了一个折扣因子，以及训练开始崩溃时的合成数据与真实数据之比。这些比例在不同维度之间相差一个数量级。

此外，按照他们的方案分配预算，相比常见的多生成轨迹的做法，计算效率最高可提升 1.7 倍。

arxiv.org/abs/2610.23946

与论文对话：academy.dair.ai/papers/how-d…