Arena CEO：付费生成的 benchmark 已失真

AI 导读

Arena CEO @ml_angelopoulos 表示，一旦开始付费让人生成 benchmark，它就不再是真实的评测，因为存在逆向选择问题。Arena 依靠持续流入的真实世界数据帮助人们改进实际任务，而非依赖某人花钱雇律师等凑出的私有数据集。他强调现实是唯一重要的评判标准。

正文 · AI 翻译

Arena CEO @ml_angelopoulos 解释了为什么一旦开始花钱雇人制作，AI 基准测试就不再真实：

「我们有源源不断的全新真实世界数据，帮助人们为实际任务进行改进，而不是某个随机基准——我在那里用随便找来的、能付得起钱的律师搞出了自己的私有数据集。」

「这里存在一个逆向选择问题。一旦你付钱让人生成基准，它实际上就不再真实了。」

「没有比现实更好的裁判。现实世界是唯一重要的裁判。」

@arena

来源：MTSlive · x.com