Artificial Analysis 发布 Decision Index 基准，Jev 1.13 领跑决策模型

推出 Artificial Analysis 决策指数（Decision Index），对决策模型在分类、工具调用、知识与推理方面进行基准测试。Jev 在决策模型中领先；而 Claude Haiku 5.5 等语言模型仍能提供更高的准确率，但成本和延迟要高得多。

决策模型会输出结构化的答案或分类结果及其对应的概率，相比使用语言模型，响应更快、成本更低。Artificial Analysis 决策指数 v1.0 对决策模型的能力、成本和速度进行了比较，同时也与语言模型进行了对比。

Artificial Analysis 决策指数 v1.0 中的基准测试：

➤ AA-Omniscience-Decision：一个包含 500 个问题的私有数据集，改编自专有的 AA-Omniscience 基准，用于衡量决策模型的知识水平和产生幻觉的倾向

➤ HLE-MultiChoice：来自 Humanity's Last Exam 的 513 道纯文本多选题，用于测试决策模型的推理能力

➤ When2Call：来自 NVIDIA 的工具调用基准，测试模型能否正确决定是调用工具、请求澄清、拒绝回答还是直接作答，评估与智能体工作流和工具路由相关的能力

➤ WildGuardTest：一个安全基准，评估模型在有害用户请求、助手拒绝以及有害回复这三类情况下的分类能力。我们使用了原始 1,725 条测试数据中 835 条的子集——这些数据中三位人工标注者对全部三个标签的标注完全一致，并排除了那些始终会触发模型拒绝的问题

关键结果：

➤ Jev 1.13 领跑决策指数，并处于能力-成本帕累托前沿：来自 @typesafeai 的 Jev 1.13 在 Artificial Analysis 决策指数中得分为 58，领先于 @fastinoAI 的 GLiDE（54）和 @Microsoft 的 Microsoft-Decision-1（54）。来自 @perplexity_ai 的 Decider v1.1 27B 每 100 万次任务的成本最低，为 17 美元；Microsoft-Decision-1（31 美元）和 Jev 1.13（42 美元）同样处于能力-成本帕累托前沿。Celeris-1 Decision 的单任务耗时最短，为 0.06 秒，比 Jev 1.13（单任务 0.13 秒）快 2 倍以上

➤ 决策模型在知识和推理任务上的概率校准很差：在几乎所有所选答案的概率水平上，所有决策模型的准确率都低于该概率值。这一差距在 AA-Omniscience-Decision 和 HLE-MultiChoice 上最大，而大多数模型在 WildGuardTest（分类）和 When2Call（工具调用）上的校准相对较好

➤ 决策模型相比语言模型具有显著的速度和成本优势，但在知识和推理方面落后：在分类和工具调用任务上，领先的决策模型表现与语言模型相当，同时速度更快、成本更低。然而，在知识和推理方面，语言模型大幅领先。Claude Haiku 5.5 (Low) 在决策指数中得分为 61，比 Jev 1.13 高 3 分，但单任务耗时 1.4 秒，而 Jev 1.13 为 0.13 秒（慢 11 倍）；每 100 万次任务的成本为 184 美元，而 Jev 1.13 为 42 美元（贵 4.4 倍）

我们将继续开发 Artificial Analysis 决策指数，帮助开发者和企业更好地了解何时以及如何使用决策模型。