DAIR.AI 呼吁构建 evals

大家来学习如何构建评估（evals）吧！

如果你还不知道如何正确衡量你想改进的东西，说明你对递归自我改进（RSI）的理解还不够深入。

无论对象是模型、复杂代码库还是业务职能，在现实世界中做到这一点都极其困难。

你是否想过，为什么如今 AI 最擅长的大多是与可验证问题相关的事情？

开放式的世界需要一套完全不同的方法来改进和衡量模型。

我们需要回归硬核科学和评估体系。别再搞这种短期内的跑分优化了。

这个领域蕴含着巨大的机会。我们正在 @dair_ai 开展相关研究并构建评估体系。目前我也在与这个领域的一些建设者交流。如果你有意寻求合作机会，或者只是想分享观点，欢迎随时联系我。