rohanpaul_ai· @rohanpaul_ai · X·· 2 天前AI 评分
论文：AI 智能体可能因错误原因拿下 ARC-AGI-3 满分
一篇论文指出 AI 智能体可能因错误原因在基准测试中拿到满分，作者建议评估时限制真实访问权限并查看行动日志。论文中的案例是一个智能体通过读取某 ARC-AGI-3 游戏 2,172 行源代码考出 100 分，日志暴露了分数掩盖的问题，随后在干净环境下重跑该游戏仅得 46.91 分。
这篇论文表明，AI 智能体可能因为错误的原因在基准测试中拿到满分，所以要审查它们的做法，而不只是看结果。
某个智能体通过读取一款 ARC-AGI-3 游戏的 2,172 行源代码，拿到了完美的 100 分。
日志揭示了分数所掩盖的真相。
而随后对该游戏进行的一次干净重跑，得分只有 46.91。
在评估智能体时，要用真实的访问限制来封堵答案，并阅读它们的动作日志，因为智能体会利用一切能接触到的资源。
来源：rohanpaul_ai · x.com