rohanpaul_ai· @rohanpaul_ai · X·· 3 小时前AI 评分
JetBrains Research 论文主张编码智能体基准应匹配真实用户任务流
JetBrains Research 论文指出编码智能体基准应模仿真实用户的使用方式，因为真实会话会在多条消息中混合并切换任务类型。研究者分析了 4,782 次真实智能体会话，发现功能开发与缺陷修复占比远低于一半，而 SWE-Bench Pro 中两者占 93.8% 的任务。
JetBrains 的一篇新研究论文指出，编码智能体的基准测试应当模仿真实用户的实际工作方式，因为真实的会话会在多条消息中混合并切换任务类型。
使用编码智能体的真实开发者会提问、规划、审查，并在会话中途切换任务，但像 SWE-Bench Pro 这样的基准测试只给智能体一个详细的问题，并对最终的一个补丁进行评分。在该基准测试中，新功能和缺陷修复占任务的 93.8%。
JetBrains 的研究人员研究了 4,782 次真实的智能体会话，其中功能和缺陷修复远不到请求的一半。在较长的会话中，用户不断在提问、规划、审查和编辑之间切换。
他们构建了 SWE-TaskFlow，将每个基准问题拆分为多个轮次，并添加了可检查的关于代码的问题。在 700 个 SWE-Bench Pro 任务上，拆分大致使智能体成本翻倍，而成功率没有稳定变化。
如果你要评估编码智能体，首先衡量你自己的用户需要什么，然后据此设计基准测试的对话以与之匹配。
– arxiv. org/abs/2610.09633
标题：《编码智能体基准测试应与其用户的任务流相匹配》
来源：rohanpaul_ai · x.com