FDE-Gym：AI 智能体模拟前沿部署工程师的评测基准

// FDE-Gym：将智能体作为前线部署工程师 //

他们发现，表现最好的智能体配置在 95 项真实客户交付任务中完全解决了 14 项。

FDE-Gym 测试的是作为前线部署工程师的智能体。每项任务都来自真实的交付项目。智能体必须质疑按脚本行事的利益相关方，在接近生产环境的系统中工作，并找出客户从未明确说明的约束条件。

交付的评分依据是它在多大程度上提升了客户自身的成功指标，同时会对多余的消息、试运行和等待时间进行扣分。

在来自七家提供商的 13 种配置中，平均分最高为 0.56。主要的失败原因是遗漏了未明确说明的约束条件。即使在表现最好的配置收集到了全部关键信息的 23 项任务中，也只有 10 项达到了 0.8 或更高。

强烈推荐关注这个基准测试。

arxiv.org/abs/2610.22350

Chat with Paper: academy.dair.ai/papers/fde-g…