跳到正文
原文
HuggingPapers· @HuggingPapers · X·· 7 小时前AI 评分47

AgentSWE 基准测试:编码智能体能力不足

AI 导读

AgentSWE:编码智能体能构建你真正想要的智能体吗? 一个涵盖创建、编辑和优化的新基准,共 25 个任务。当前的构建者表现不佳:50 次创建运行平均得分 11.2/100,其中 20 次得分为零。

正文 · 原文

AgentSWE: Can coding agents build the agent you actually want?

A new benchmark spanning Creation, Editing, and Optimization across 25 tasks. Today's builders fall short: 50 Creation runs average 11.2/100, 20 score zero.

来源:HuggingPapers · x.com