跳到正文
原文
arcprize· @arcprize · X·· 1 天前AI 评分25

ARC-AGI高、中推理token用量及得分对比

AI 导读

在公开任务上,ARC-AGI-1 的 high 设置平均每任务使用 49k 推理 token,medium 设置为 17k,得分分别为 39.8% 和 34.0%。在 ARC-AGI-2 上,high 设置平均每任务使用 76k 推理 token,medium 设置为 22k,得分分别为 1.9% 和 1.1%。

正文 · 原文

On public tasks, high averaged 49k reasoning tokens/task vs 17k for medium on ARC-AGI-1, scoring 39.8% vs 34.0%. On ARC-AGI-2, high averaged 76k vs 22k, scoring 1.9% vs 1.1%.

来源:arcprize · x.com