natolambert· @natolambert · X·· 3 小时前AI 评分
GRPO 崛起后 RL 重要性采样成研究重点
我正在读分数中心化 RL 论文,想给我的书补充一些相关笔记。他们在附录中有一张很棒的表格,介绍了 RL 中各种基于重要性采样的训练-推理不匹配方法。在我看来,自 GRPO 起飞以来,这些一直是 RL 算法研究的最大焦点。
我正在读那篇关于分数中心化强化学习的论文,想给我的书补充一些笔记。他们在附录中列了一张很棒的表格,汇总了强化学习中各种基于重要性采样的训练—推理不匹配方法。我认为,自 GRPO 起飞以来,这些方法一直是强化学习算法研究的重点。
来源:natolambert · x.com