HuggingPapers· @HuggingPapers · X·· 7 小时前AI 评分
AgentSWE 基准测试:编码智能体能力不足
AgentSWE:编码智能体能构建你真正想要的智能体吗? 一个涵盖创建、编辑和优化的新基准,共 25 个任务。当前的构建者表现不佳:50 次创建运行平均得分 11.2/100,其中 20 次得分为零。
AgentSWE: Can coding agents build the agent you actually want?
A new benchmark spanning Creation, Editing, and Optimization across 25 tasks. Today's builders fall short: 50 Creation runs average 11.2/100, 20 score zero.
来源:HuggingPapers · x.com