跳到正文
原文
HuggingPapers· @HuggingPapers · X·· 4 小时前AI 评分47

Doc2Harness:编码智能体长程基准发布

AI 导读

Doc2Harness:首个面向编码智能体长程 harness 工程的基准 19 个前沿模型,328 个测试用例,最佳通过率仅 53% —— 即使最强的也有一半失败。来自 ICT-CAS。

正文 · AI 翻译

Doc2Harness:首个面向编码智能体长时程 harness 工程能力的基准测试

19 个前沿模型、328 个测试用例,最佳通过率仅 53%——即便是最强模型也有一半失败。来自 ICT-CAS。

来源:HuggingPapers · x.com