JetBrains研究：编码智能体基准偏离真实任务流

2026年10月12日，JetBrains Research 通过 X 平台发布论文观点，主张编码智能体基准应匹配真实用户任务流。研究者分析了 4,782 次真实智能体会话，发现真实会话会在多条消息中混合并切换任务类型，其中功能开发与缺陷修复的占比远低于一半。论文指出，现有基准 SWE-Bench Pro 中这两类任务占 93.8%，与真实使用方式存在明显偏差，因此基准设计应模仿真实用户的使用习惯。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。