智能体写应用代码，但出问题时你凌晨 2 点还是得被叫醒。 我们想知道 AI 能否也处理这部分工作。 推出 Incident Arena：一个让编码智能体值班的基准！ 查看下方论文与完整数据集发布！

thoughtfullab 宣布通过 PostTrainBench 参与 AI 前沿评测，并公布 Gemini 4 的成绩为 45.3%，较 Gemini 3.1 Pro 的 21.99% 有明显提升，作者称这是迈向负责任自我改进型 AI 的一步。

Arena 发布数据显示，Google DeepMind 的 Gemini 4 Argon (High) 在 Agent Arena 位列第 8，净提升分 +7.92%，单任务成本 $0.62，重塑了 Pareto 前沿。

Gemini 4 在 PostTrainBench 上达到 45.3%，是 Gemini 3.1 Pro 21.99% 的两倍多，并超过 GPT-6 Astra 🔥

Arena 发文称 Google 已在 Text Arena 升至第 1 名，并成为 Code Arena 的前三供应商之一。

Gemini 4 Argon (High) 在 Text Arena 以 1525 分排名第一，在 Code Arena: WebDev 以 1679 分排名第八。

Gemini 4 Argon 在 Artificial Analysis 上幻觉率为 15%，Grok 4.7 为 29%、GPT-6 Astra 为 45%、Opus 5.5 为 59%、Fable 5.1 为 69%。低于它的模型答题量极少，正确率均不超过 15%；Gemini 4 Argon 在 max 模式下正确率为 50%，低于 Opus 5.5 的 66%，但不确定时会直接说明而非编造。

Google 回来了？？？ 全面超越 Astra 和 Opus 5.5。 如果这不只是刷榜，我很乐意看到他们重新加入竞争。

Artificial Analysis 测评 Google 新模型 Gemini 4 Argon：在 high reasoning 档下其 Artificial Analysis Intelligence Index 得分 53。

- 排行榜：arcprize.org/leaderboard - 复现公开结果：github.com/arcprize/arc-agi-… - 测试政策：arcprize.org/policy - GPT-6.1 Sol 完整结果：arcprize.org/results/openai-…

ARC Prize 公布 OpenAI GPT-6.1 Sol 在 ARC-AGI (Verified) 上的成绩：ARC-AGI-3 在 standard harness 下 52.7%、$7.6K，在 provider adapter harness 下 96.4%、$4.4K；ARC-AGI-2 为 94.2%、$0.25/task；ARC-AGI-1 为 98.5%、$0.06/task。其在 v3 上的 96.4% 与 GPT-6 Astra 的 99.9% 相当，但成本低 77%。

ARC Prize 指出 GPT-6.1 Sol 与 GPT-6 Astra 类似，在 ARC-AGI-3 上推理等级越高决策越好，完成关卡所需动作越少，从而降低总推理成本。

Google is so back? Their new Gemini 4 Argon understands the physical 3D world better than any other AI. It ranks #1 on Blueprint-Bench 2, a benchmark where AI agents draw floorplans from photographs of apartment interiors.

Gemini 首次登上 Vals Index 榜首。 Gemini 4 Argon 以 68.9% 占据 Vals Index 第 1 名。

我们维护了多项内部基准，以引导客户获得更好的搜索相关性。 @perplexity 的新模型登顶 context-bench——我们的内部上下文嵌入基准，并将文档 recall@10 相比传统 SOTA 嵌入模型提升了 50%+。

在 ConTEB 上，该预览版在所测模型中平均 nDCG@10 最高，尽管并非在每个任务上都领先。 它在分块检索上也击败了 voyage-context-4，且每向量存储量少 8 倍：1 KB（1024 维，int8）对比 8 KB（2048 维，float32）。

我们构建了一种训练上下文嵌入模型的新方法，它在编码文档每个分块时会参考整个文档。 pplx-embed-v2-context-9b-preview 在 ConTEB 和 @turbopuffer 新推出的私有 context-bench 上刷新了 SOTA。 perplexity.ai/hub/blog/conte…

MTSlive 发布了一个交互页面，用于探索 ARC Prize 的 ARC-AGI-3 基准，围绕 Astra 在该基准上取得 99.9% 分数这一成绩展开说明。用户可以试玩模型受测的关卡之一，并阅读 Astra 在自己运行过程中留下的笔记，入口地址为 intelligence.mts.now/benchma…。

腾讯混元联合复旦大学、清华大学发布 ExplorationBench，用于衡量 AI 系统的探索能力。该基准构建了规则可执行、与已知知识冲突的 Alien Worlds，包含 AlienCode（31 处隐藏规则改动、70 个任务）和 AlienLogic（24 条修补推理规则、70 个定理）两个沙盒，所有答案由解释器或证明检查器评分，不使用 LLM 评委。

当你需要高吞吐、高速度的选项时，试试 Embed 5 Fast。它比其他快速档模型高出六分或更多，成本却比 Pro 低三分之一。 关键是，Embed 5 也是首个用 RCP-nDCG@10 评估的模型家族，这是我们最新的检索方法。了解更多：cohere.com/blog/rcp-ndcg

Hugging Face BlogAI 评分3838

Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测

Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。

在 max 模式下结果更令人印象深刻！6.1 sol 的表现超过了 Opus 5.5，同时使用的 token 少了 4 倍。

ARC Prize 发文称，19 个月内达到 ARC-AGI-1 75% 分数的成本下降 99.95%，从 o3-preview 的 $26/task 降至 DeepSeek V4 Flash 的 $0.01/task。在 ARC-AGI-2 上，6 个月内成本下降 99.44%，从 Gemini 3 Deep Think 的 $13.62/task 降至 Dots3-Note Preview 的 $0.08/task。

- 排行榜：arcprize.org/leaderboard - 复现公开结果：github.com/arcprize/arc-agi-… - 测试政策：arcprize.org/policy - GLM 5.3 Flash 完整结果：arcprize.org/results/zai-glm…

ARC Prize 公布 GLM 5.3 Flash 在 ARC-AGI (Verified) 上的成绩：ARC-AGI-2 得分 65.8%，单任务成本 $0.09；ARC-AGI-1 得分 91.0%，单任务成本 $0.04。该模型在两项基准上均以低于 $0.10/task 的成本取得较强表现。

GLM 5.3 Flash 之前以 Ox Alpha 的代号在 @OpenRouter 上低调提供时，我们在 ARC-AGI-1 & 2 的公开任务上对其进行了测试。后来通过 @Baseten 测试官方 GLM 5.3 Flash 时，我们发现两个基准的分数平均提高了 15 个百分点。

我很高兴 @OpenAI 以这种方式呈现模型评测。我们应该将智能作为成本的函数来衡量。

如何测试 AI 的人类级通用性？Francois Chollet 提出 ARC-AGI-(n+1) 元基准

Francois Chollet 提出以"发布即通过 ARC-AGI-(n+1)"作为测试 AI 人类级通用性的元基准，该观点引自 Dylan T. Moore 的表述。Moore 同时指出，这一标准大概不会永远成立。

链接（3/3）： 4 WorkflowEvals: huggingface.co/collections/t… 复现仓库：github.com/typesafe-ai/Workf… 附加数据集：huggingface.co/datasets/type… 关于反刷榜的博客：completeskeptic.com/p/lies-d…

Workera 被 Pearson 收购，Andrew Ng 作为公司董事长对 CEO Kian Katan 及团队表示祝贺。Workera 由 DeepLearning.AI 和 AI Fund 于 2019 年孵化，其技术可严格衡量员工在不同任务和岗位上的技能，帮助企业了解员工优势与发展领域。

ARC Prize 公布 ARC-AGI-3 新的高分纪录为 45.33%，此前纪录为 27.29%，由 @tufalabs 创造并重新夺回第一名。

Hugging Face 联创 Thomas Wolf 指出，作弊率突然下降最可能的解释是评测意识：最新的 Opus 模型可能已聪明到能识别该基准在测试作弊，并据此调整行为。若如此，该基准将不再衡量模型"自然"的作弊倾向。

Anthropic 发布 Claude Sonnet 5.5，速度提升 30% 以上

Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5，官方称其运行速度快 30% 以上，多数工作成本最多降低 30%，定价与 Sonnet 5 相同但在各项基准上均优于后者。

Claude 现在可以帮你构建评测并在其上不断优化。 在这篇文章中，我们分享了关于评测设计的指导，以及 Claude Code 可以用来改进你应用的技能。 claude.dev/blog/automating-e…

@forwardeditor 用同一提示词做的弹跳球物理测试，Sonnet 5 vs Sonnet 5.5。

- 排行榜：arcprize.org/leaderboard - 复现公开结果：github.com/arcprize/arc-agi-… - 测试政策：arcprize.org/policy - GPT-6 Sol 完整结果：arcprize.org/results/openai-…

同样，在ARC-AGI-1上使用xhigh推理时，GPT-6 Sol得分为92.7%，而GPT-5.6 Sol为97.5%，但在匹配的推理水平下，每个任务的成本低73%。 完整结果：arcprize.org/results/openai-…

ARC Prize 公布 OpenAI GPT-6 Sol 在 ARC-AGI (Verified) 上的成绩：ARC-AGI-3 在 standard harness 下 4.6%、$5.6K，在 provider adapter harness 下 23.0%、$8.7K；ARC-AGI-2 为 89.6%、$0.44/task；ARC-AGI-1 为 95.5%、$0.14/task。文中对比称 Sol 在 ARC-AGI-3 上达到 23.0%，Luna 为 0.59%，Astra 为 99.9%。

一张图看懂刷榜巅峰操作 LOL。

Databricks 的 pwendell 发布基于 N=2,400 名工程师在线负载分析与离线评测的结果，认为上周发布的三款模型中有两款明显扩展成本质量前沿：Opus 5.5 和 GPT-6 Luna。