Harvard 研究称 Claude Opus 4.8 生成的论文评审在测试指标上优于人类评审

AI 导读

Harvard 研究发现，Claude Opus 4.8 生成的论文评审在作者测试的各项指标上超过最佳人类同行评审。研究使用 rapidPeer 的 134 条评审和 1124 篇论文，由 GPT-5.5 与 3 名前期刊编辑进行盲评；GPT-5.5 在 132 组可判定对比中全部选择 AI 评审，编辑选择 AI 评审的比例为 87%。

正文 · AI 翻译

太震撼了。哈佛最新研究发现，在作者测试的所有指标上，AI 撰写的论文评审意见都胜过最优秀的同行评审。

同行评审速度慢，而且经常漏掉错误。此前的研究认为，AI 应当只辅助人类评审，而不能取代他们。

研究人员使用了 rapidPeer 的 134 份评审意见；这是哈佛的一项服务，会向专家评审人支付优厚报酬。Claude Opus 4.8 对同样的 1124 篇论文进行了评审，随后由 GPT-5.5 和 3 名前期刊编辑对这些评审意见进行盲评配对。

在有结论的 132 对评审意见中，GPT-5.5 全部选择了 AI 评审，编辑则有 87% 的时候选择了 AI 评审。AI 对论文的陈述中只有 5.5% 是错误的，而人类评审中的错误比例为 15.9%。

依赖专家批评意见的团队现在可以让 AI 先完成第一轮全面评审，再保留一名人类评审来做最终决定。