跳到正文
原文
arena· @arena · X·· 20 小时前AI 评分47

Agent Arena 评测 Jev Router:成本高 38% 未破前沿

AI 导读

Arena 在 Agent Arena 上对 Jev Router 完成超 4,700 次真实智能体会话评测,结果显示其未改进当前 Pareto 前沿:与 DeepSeek V4.1 Flash (Max) 性能相当时成本高 38%、中位模型请求延迟高 1.7x。

正文 · AI 翻译

我们在 Agent Arena 上评估了 @typesafeai 的 Jev Router。

我们跨越 4,700 多次真实智能体会话的测试表明:

1. Jev Router 并未超越当前的帕累托前沿。在性能与 DeepSeek V4.1 Flash (Max) 相当的情况下,该方案的成本高出 38%,且模型请求的中位延迟是其 1.7 倍。

2. 不过,它确实主要将请求路由给帕累托高效的模型。它选择最多的 LLM 是 DeepSeek V4.1 Flash,GPT-6.1 Sol 和 GPT-6 Luna 也是常见选择。

3. Jev Router 的核心优势在于可控性。其 +10% 的得分几乎追平了 Claude Opus 5.5 (High) 的 +10.48。这凸显了 Jev 根据用户反馈有效路由到更强 LLM 的好处。

更多见解见下方推文串。

来源:arena · x.com