智能体基准验证器审计引发关注

2026年10月7日，DAIR.AI的Elvis Saravia在X上呼吁所有智能体基准都应审计其验证器，并转发了Parsave对Zapier AutomationBench的审计工作。该审计检查了全部600个公开任务，使用逼真的错误答案试图欺骗各验证器，经人工复核确认存在206个真实缺陷。目前AutomationBench Verified已修复全部206个缺陷。后续报道中，Saravia再次强调每个Agent基准都应审计其验证器，所引审计方名称在两篇报道中分别记为Parsave与Parsewave，其余数据（600个任务、206个缺陷、已全部修复）保持一致。

AI 根据报道生成 · 10 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。