跳到正文
原文
ArtificialAnlys· @ArtificialAnlys · X·· 4 天前AI 评分40

CritPt v2 分数变化与前沿空间收窄

AI 导读

CritPt v2 的得分总体高于 v1,且二者不可直接比较。GPT-6 Astra (max) 在 v2 上得分 83%,高于 v1 的 32%。这两项变化都有贡献:在我们的测试中,大部分增幅来自修订后的挑战题,代码执行工具访问权限带来的增益较小。随着领先模型目前超过 80%,CritPt v2 在前沿留下的空间比 v1 更少。

正文 · 原文

CritPt v2 scores are generally higher than v1 and are not directly comparable. GPT-6 Astra (max) scores 83% on v2, up from 32% on v1. Both changes contribute: in our testing, most of the increase comes from the revised challenges, with code-execution tool access adding a smaller gain. With leading models now above 80%, CritPt v2 leaves less headroom at the frontier than v1 did.

来源:ArtificialAnlys · x.com