DAIR.AI 创始人 Elvis Saravia 推荐 Slack AI 员工 Viktor，它能在夜间自动审查 agent harness 的评测结果，例如当 23 个任务由通过变为失败时，Viktor 会检查全部日志、定位到引发回归的单个改动并建议回滚。

亲自探索：openrouter.ai/rankings/decis…

全新推出：决策模型排行榜！ 查看不同决策模型和任务类型的支出占比与 token 占比，包括相关性、正确性、指令遵循等。 @typesafeai 目前在所有类别中领先。

AI 语音产品需要知道谁说了什么。 这比单纯的转写或说话人分离更难，尤其是当说话人互相抢话时。 @smallest_AI 的 Pulse 现已在 @voicearena_ai 的 Diarization Bench 的分离 + ASR 赛道上排名第一，DER 为 24.4%。 DER 是错误率，越低越好。该赛道的下一个系统得分为 40.7%。

以东方面孔 Yuri 为例对比四款模型的面部一致性，字节 Seedream 表现较好，Banana2.1 较差，ChatGPT Images 2.5 一般，Midjourney 几乎不存在。目前尚无模型能完美满足高要求的面部一致性，但多数场景（如短剧）实际要求并不高。

深入 Code Arena：WebDev 排行榜地址：arena.ai/leaderboard/code/we…

Mistral Large 4 在 Code Arena: WebDev 上线，以 1534 分排名第45，较 Mistral Large 3 的第130名提升 304 分，也比次优的 Mistral Medium 3.5（第122名）高出 271 分。

在此查看更多基准测试信息 voicearena.com/diarization-b…

smallest AI 在 VoiceArena 的说话人分离（diarization）+ ASR 基准上夺得第一。该基准让模型听远场房间音频，但用每位说话人身上单独佩戴的麦克风所建标签来评分，实现"真实输入 + 精确 ground truth"的组合。作者指出许多 diarization 基准要么用干净音频、要么标签粗糙，VoiceArena 两者都避免，因此这个第一含金量高。

OpenAI Decisions API 刚刚上线，现在正是进行更详细对比的绝佳时机。 我们很快就会知道哪个 LLM-as-a-Judge 更好。 我还会把它与 Perplexity 的 Decisions API 进行比较。非常期待深入研究。更多内容稍后呈现。 x.lingyaoai.com/OpenAIDevs/status/2107…

阅读他们关于此的详细技术博客 parsewave.ai/benchmark-resea…

Parsewave 审计了 Zapier AutomationBench 的全部 600 个公开任务（前沿实验室在模型卡中引用该基准），用 Agent 生成看似可信的错误答案，再由人工确认哪些评分器失效，结果有 206 个评分器出错，修复后的 AutomationBench Verified 全部修正了这些问题。

探索 Multi-Image Edit Arena：arena.ai/leaderboard/image-e…

确实。我还想补充一点：如果你知道如何在其之上构建好的评测，你很快就能在你的领域/任务中处于前沿。这就是评测能为你解锁的那种优势。 学会构建好的评测吧。这很值得。

Overmind 用生产 trace 微调 Qwen3.5 9B，在法律合同任务上对比 GPT5.6 Luna，报告幻觉条款减少 20 至 30 倍、逐字引用条款准确率提升 7 倍。其可观测层与训练层共用同一数据，evals 基于真实任务构建而非公开 benchmark。产出为权重自有的小模型，可在 Overmind 托管或自行部署。

突发：Grok 4.7 在 VulcanBench Frontier v4 上登顶，这是一个高难度编码任务基准。🥇 前三名全部属于 Grok 4.7。其获胜成绩为 93.15，通过了全部 23 个任务。

探索 Multi-Image Edit Arena：arena.ai/leaderboard/image-e…

Mistral Large 4

Mistral Large 4 作为新模型出现在 Simon Willison 的测试中，被用 `llm -m mistral/mistral-large-4` 与 claude-opus-5.5。

omarsar0 表示每个 Agent 基准都应该审计其验证器。他提到 Parsewave 审计了 Zapier 的 AutomationBench 全部 600 个公开任务，让 Agent 编写逼真的错误答案试图欺骗每个验证器，经人工复核确认存在 206 个真实 bug，AutomationBench Verified 已修复全部 206 个。

- 排行榜：arcprize.org/leaderboard - 复现公开结果：github.com/arcprize/arc-agi-… - 测试政策：arcprize.org/policy - DeepSeek V4.1 Flash 完整结果：arcprize.org/results/deepsee…

ARC-AGI-3 评测在操作上更为密集；测试完成后，我们将在未来几周内分享结果，包括使用新的 DeepSeek provider adapter harness 的得分。

ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC-AGI（Verified）上的成绩：ARC-AGI-2 为 72.9%，单任务成本 $0.13；ARC-AGI-1 为 94.5%，单任务成本 $0.07。相比 V4 Flash 的最佳成绩，ARC-AGI-1 提升 5.5 个百分点，ARC-AGI-2 提升 11.5 个百分点，但单任务成本高出约 250%。

ARC Prize 联合 SnorkelAI 在 SF Tech Week 举办首届 Frontier AI Benchmarking Ecosystem Dinner，邀请 40 位来自非营利评测机构、产业界、学术界和政府的专家，共同探讨 AI 基准设计框架与更可扩展、透明的评测生态。

- 排行榜：arcprize.org/leaderboard - 复现公开结果：github.com/arcprize/arc-agi-… - 测试政策：arcprize.org/policy - Grok 4.7 完整结果：arcprize.org/results/xai-gro…

ARC Prize 指出 Grok 4.7 的 reasoning token 用量与其 ARC-AGI-2 公开得分相关：low 档每次 test-pair 尝试平均约 10k tokens、得分 25%，medium 至 xhigh 档则为 86k 至 120k tokens、得分 57.5% 至 60%。作者认为 low 档较低的 token 用量或可解释其较低的得分。

ARC Prize 公布 Grok 4.7 在 ARC-AGI (Verified) 上的成绩：ARC-AGI-3 在 standard harness 下为 1.8%、$2.7k，在 provider adapter harness 下为 10.0%、$4.8k；ARC-AGI-2 为 61.4%、$2.01/task；ARC-AGI-1 为 90.2%、$0.64/task。与 Grok 4.6 相比，Grok 4.7 在 ARC-AGI-1 上得分更高，但在 ARC-AGI-2 和 3 上更低。

Perplexity 在 Hugging Face Decision Index（决策模型基准）中获胜。我们的模型是开放权重的，所有人都能访问！

作者转发了 Parsave 对 Zapier AutomationBench 的审计工作：其检查了全部 600 个公开任务，用逼真的错误答案试图欺骗各验证器，经人工复核确认 206 个真实缺陷，AutomationBench Verified 已修复全部 206 个。

正如我在文章中所说，Jev 一个有趣的方面是其一致性属性。这对于构建可靠的智能体工作流评判器非常有用。我目前正在编写一个小基准测试，以更广泛地测试这一点，并将其与其他决策 API 进行比较。更多内容即将推出。

Microsoft Research 播客访谈：AI 评测中的意外失败与应对之道

Microsoft Research 播客中，主持人 Chad Atalla 与 Microsoft 合作研究经理、Purdue 教授 Jennifer Neville 对谈，讨论评测如何推动当今 AI 系统性能边界，以及模型在传统基准之外测试时出现的意外失败。

用 Jev-as-a-Judge 提升智能体评估的可靠性。

这是 Jev 最令人印象深刻的用例之一。 我大量从事智能体评测、评审和验证工作。 我发现 Jev-as-a-Judge 通过一致性提升了 LLM 评审的可靠性。这使其成为评审、验证和持续监控的理想选择。

在 arena.ai 体验 Mistral 的 Battle Mode 和 Agent Mode。

Eleven v4 和 Eleven v4 Turbo 现已在 Artificial Analysis 文本转语音排行榜上位列第一和第二。

嗯，Le Chonk 在 Artificial Analysis Intelligence Index 上远落后于 GLM-5.3。 它甚至落后于 GLM-5.3 Flash。我们正处于一场评测危机中。

据 VentureBeat 报道，Mistral Large 4 在 DeepSWE 上得分 62%，超过 GLM-5.3；同时在 Finch 金融任务基准上得分 67%，被称为 SOTA open-weight。此外 Le Chonk 在 Harvey 的 Legal Agent Benchmark 法律任务上得分 15%，同样为 SOTA open-weight。作者表示现在需要一份技术报告，并致谢 @AiBattle_。

Mistral Large 4 在 Artificial Analysis 开放权重指数上跃升至第 6 位。其在 CyberGym-E2E (AA) 基准上取得 82 分，在其他 Cyber 基准上也有相近表现。作者认为这是一次不错的发布，并提出 Mistral 能多快推出新模型升级以保持竞争力是最大疑问。

更多分析请见 artificialanalysis.ai/models…

Mistral Large 4 Preview 完整基准测试结果

Mistral 发布 Mistral Large 4（Research Public Preview），在 Artificial Analysis Intelligence Index 上得 38 分。