dair_ai· @dair_ai · X·· 3 小时前AI 评分
DUET 联合优化智能体与评分器，Finance Agent Benchmark 达 96.5%
DUET 通过交替更新 LLM 评分器与智能体求解器，在 Finance Agent Benchmark 上将求解器成绩提升至 96.5%，超过 GEPA（94.4%）和 SkillOpt（94.0%）。
一篇关于联合优化智能体及其评分器的精彩论文。
核心发现是：应当随智能体一同更新 LLM 评分器，而不是将其固定不变，因为智能体在不断改进的过程中，其失败模式也会随之变化。
DUET 让两者交替进行优化。
每一轮先挑选训练任务，运行求解器，由评分器对轨迹进行打分和点评，然后由一个调用工具的更新器修改评分器或求解器中的一个，另一个保持不变。
在 Finance Agent Benchmark 上，求解器达到 96.5%，高于 GEPA（94.4%）和 SkillOpt（94.0%）。当两者都针对该基准自带的参考评估器进行优化时，求解器同样胜过它们。
在 GDPval 上，评分器的一致率从 68.4% 提升到 78.5%。而只训练评分器、冻结求解器时，一致率仅从 67.9% 提升到 68.8%。
论文：academy.dair.ai/papers/duet-…
来源：dair_ai · x.com