CMU与微软发布CRBugBench代码审查评测

2026年10月14日，Rohan Paul在X上分享了卡内基梅隆大学（CMU）与微软的一篇新论文。该论文构建了名为CRBugBench的代码审查评测基准，包含1,800个代码审查任务，每个pull request都引入一个经人工确认并已修复的bug，并使用AI裁判判断被测agent的前几条发现是否命中该bug。评测结果显示，最佳AI代码审查工具claude-opus-5在前5条评论中命中了71.9%的已知bug。这是该基准的首次公布结果，后续更多模型与工具的对比数据尚未见报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。