rohanpaul_ai· @rohanpaul_ai · X·· 4 天前AI 评分
Meta 论文提出 RSD，让 AI 智能体从无奖励的历史尝试中学习
Meta 新论文提出 RSD，让同一模型在任务结束后回看每一步并为动作评分，从没有正确答案和奖励的运行中学习。ScienceWorld 上 Qwen3-14B 成功率从 12.9% 升至 20.6%，ALFWorld 上 Qwen3-8B 达到 76.6%，高于测试的其他方法；每轮重建回溯内容时，第 3 轮成功率为 67.9%，固定笔记则为 59.7%。
Meta 的一项新论文发现，AI 智能体可以通过回顾任务执行中的每一步（前提是已经知道任务最终的结果），从自己过去的尝试中学习，哪怕这些尝试没有被任何人标记为正确或错误。
大多数智能体运行都没有正确答案，也没有奖励信号，而标准训练正是依赖这些信号。RSD 让同一个模型重新阅读每次已完成的运行，知道最终结果以及类似任务中哪些做法有效。它会为每个行动打分，智能体再从这些分数中学习。
在 ScienceWorld 上，Qwen3-14B 的成功率从 12.9% 提升至 20.6%。在 ALFWorld 上，Qwen3-8B 达到 76.6%，超过了测试的所有其他方法，包括那些获得了奖励或真实答案标签的方法。
保留你的智能体那些没有标注的运行记录，包括失败案例，并基于对这些记录的事后复盘来训练它。每轮都要重新构建复盘，因为如果使用固定不变的记录，到第 3 轮时 ALFWorld 的成功率仍为 59.7%，而使用最新记录时则达到 67.9%。
来源：rohanpaul_ai · x.com