AWS 与 HSBC 论文提出 Double Ratchet：评分器随智能体共同进化

AI 导读

AWS 与 HSBC 的一篇新论文提出 Double Ratchet 方法，让评分器随智能体技能共同进化，从 10 个标注样本出发，训练效果与使用 ground truth 相当。

正文 · AI 翻译

自我改进的智能体一直需要人类来编写评分器。

AWS 与汇丰银行的一篇新论文去掉了这一步：评分器从 10 个带标注的样本出发，与智能体一同演化，其训练效果与使用标准答案相当。

Double Ratchet 让评分器与智能体的技能同步演化，针对每种失败类型，从少量以规则为主的检查逐步构建。评分器的某个版本被选中，是因为它与 10 个带标注的样本一致，而非因为它能提高智能体的得分。

在代码、SQL 和报告任务中，它保留了标准答案或评分细则给同一技能循环带来增益的 88% 到 110%。去掉安全防护后，评分器放行了 97% 到 100% 的输出，但训练出的技能效果依然相当。