omarsar0· @omarsar0 · X·· 3 小时前AI 评分
DAIR.AI 推荐用决策模型做 LLM 评测
DAIR.AI 的 Elvis Saravia 推荐用决策模型构建 evals，并称内部评测显示 System One 模型 Jev 非常适合充当 LLM Judge。他整理了两份资源：Jev-as-a-Judge 用于 Agent 评测的课程与实验，以及 arxiv.org/abs/2609.26550 论文，介绍结合 System One 与 System Two 模型的更多思路。
大家学学怎么构建评估吧。
强烈推荐阅读关于使用决策模型进行评估的文章。
根据我们的内部评估，像 Jev 这样的 System One 模型非常适合用作 LLM 评判者。
如果你想超越 Hamel 那篇出色的长文，我还整理了一些关于将决策模型应用于 LLM 评判者的资源。
（收藏一下）
1) 用杰文斯作为评判者的智能体评估 - academy.dair.ai/dashboard/re…
2) 杰文斯作为评判者：用决策模型评估智能体 - academy.dair.ai/labs/jev-as-…
我推荐的一篇额外论文，其中还有一些结合系统一和系统二模型的其他思路：杰文斯作为评判者论文 - arxiv.org/abs/2609.26550
来源：omarsar0 · x.com