Ethan Mollick 表示 Astra 和 Opus 5 都已通过 Montezuma's Revenge，而某项 AGI 对赌的判定条件之一是 AI 赢得一个已停办、类似弱图灵测试的奖项，因此 Metaculus 决定重建该测试以确认该条件是否达成。

我们现在在Kaggle上取得了非常好的ARC-AGI-2分数！

The Verge · AIAI 评分6666

Instinct 实测：与 Muse、Dots 对比的 AI agent 表现如何

The Verge 作者 Allison Johnson 实测了 AI agent Instinct，并与 Meta 的 Muse、OpenAI 的 Dots 对比。

今天在 @tbpn 收听 @ml_angelopoulos 带来的另一期 Arena Alignment Index 解读

终于来了 我过去六个月试过的所有 AI 助手工具的排名 如果你不同意，告诉我

很高兴看到LAB的更新版本！最初的LAB结果让我们摸不着头脑。 Astra的幻觉率最低——这在法律实践中尤为重要。

恭喜发布，很高兴看到 Artificial Analysis 的评测被广泛引用！

Artificial Analysis 指出，生成更多输出 token 不一定带来更高得分：GPT-6 Astra (max) 每任务约 81k 输出 token 得分 8.6%，不到 Grok 4.7 (xhigh) 约 180k 输出 token 的一半。三个 Claude 模型每任务输出 token 最多（约 202k 到 562k），得分在 2.8% 到 6.4% 之间。

RSIGym 为研究型智能体提供训练、推理、评测和沙箱即服务，使其把预算花在实验而非重建基础设施上；以 Opus 5 作为研究者，改进后的系统在 SWE-bench Verified 上从 17.67% 提升到 50.33%。推文还提到一种衡量 harness 与模型协同进化质量的方法，这正是全栈 AI 公司保持前沿的方式。

Arena 测评发现 AI 智能体存在"虚假归因"问题，即把用户未说过的话或未做的决定错误归给用户。GPT-6 Luna 和 Astra 的误引率最低（15.6% 和 28.6%），但错误归因率高达 53.1% 和 48.2%；GPT-6 Sol 则以 23.5% 的比例最常篡改用户历史记录。

The Verge · AIAI 评分6161

The Verge 影评：讽刺片《Artificial》如何贴近 OpenAI 真实事件

The Verge 发布影评，评述 Luca Guadagnino 执导、Andrew Garfield 主演的 Sam Altman 传记讽刺片《Artificial》在纽约电影节的首映。

Elon Musk 表示 Grok Bot 目前的研究表现优于 GPT-6 Pro，尤其在更新支持访问 X 平台信源后。他以智谱估值问题为例，Grok Bot 指出智谱 80% 以上收入来自中国这一关键点，而 GPT-6 Pro 完全遗漏；将该信息反馈给 GPT-6 Pro 后，它承认未看到全貌并认同 Grok Bot 的结论。Musk 称给 Grok Bot 开放 X 信源访问是最佳更新之一。

少数尝试测量类似能力的基准（METR Long Tasks、GDPval）今年初都已饱和，因为 AI 开始能高质量完成数天的工作。

总的来说，Jev Router 做出了明智的选择。其使用最多的 5 个模型中有 4 个位于帕累托前沿，且可控性表现突出。 但这还不足以构成更优的权衡。直接调用 DeepSeek V4.1 Flash 能以更低成本和延迟获得相似性能。 我们的结果说明了模型路由为何困难：同时平衡任务成功率、可控性、成本和延迟仍是一个开放挑战。

以东方面孔 Yuri 为例对比四款模型的面部一致性，字节 Seedream 表现较好，Banana2.1 较差，ChatGPT Images 2.5 一般，Midjourney 几乎不存在。目前尚无模型能完美满足高要求的面部一致性，但多数场景（如短剧）实际要求并不高。

smallest AI 在 VoiceArena 的说话人分离（diarization）+ ASR 基准上夺得第一。该基准让模型听远场房间音频，但用每位说话人身上单独佩戴的麦克风所建标签来评分，实现"真实输入 + 精确 ground truth"的组合。作者指出许多 diarization 基准要么用干净音频、要么标签粗糙，VoiceArena 两者都避免，因此这个第一含金量高。

Parsewave 审计了 Zapier AutomationBench 的全部 600 个公开任务（前沿实验室在模型卡中引用该基准），用 Agent 生成看似可信的错误答案，再由人工确认哪些评分器失效，结果有 206 个评分器出错，修复后的 AutomationBench Verified 全部修正了这些问题。

确实。我还想补充一点：如果你知道如何在其之上构建好的评测，你很快就能在你的领域/任务中处于前沿。这就是评测能为你解锁的那种优势。 学会构建好的评测吧。这很值得。

omarsar0 表示每个 Agent 基准都应该审计其验证器。他提到 Parsewave 审计了 Zapier 的 AutomationBench 全部 600 个公开任务，让 Agent 编写逼真的错误答案试图欺骗每个验证器，经人工复核确认存在 206 个真实 bug，AutomationBench Verified 已修复全部 206 个。

作者转发了 Parsave 对 Zapier AutomationBench 的审计工作：其检查了全部 600 个公开任务，用逼真的错误答案试图欺骗各验证器，经人工复核确认 206 个真实缺陷，AutomationBench Verified 已修复全部 206 个。

正如我在文章中所说，Jev 一个有趣的方面是其一致性属性。这对于构建可靠的智能体工作流评判器非常有用。我目前正在编写一个小基准测试，以更广泛地测试这一点，并将其与其他决策 API 进行比较。更多内容即将推出。

Microsoft Research 播客访谈：AI 评测中的意外失败与应对之道

Microsoft Research 播客中，主持人 Chad Atalla 与 Microsoft 合作研究经理、Purdue 教授 Jennifer Neville 对谈，讨论评测如何推动当今 AI 系统性能边界，以及模型在传统基准之外测试时出现的意外失败。

这是 Jev 最令人印象深刻的用例之一。 我大量从事智能体评测、评审和验证工作。 我发现 Jev-as-a-Judge 通过一致性提升了 LLM 评审的可靠性。这使其成为评审、验证和持续监控的理想选择。

嗯，Le Chonk 在 Artificial Analysis Intelligence Index 上远落后于 GLM-5.3。 它甚至落后于 GLM-5.3 Flash。我们正处于一场评测危机中。

更多分析请见 artificialanalysis.ai/models…

Time per Task 包含搜索时间和模型时间。 OpenAI Web Search 的 Time per Task 约为 31s，在 26 个产品中排名第 14，处于中游，整体范围约为 16s（Octen）到 62s（Firecrawl）。 OpenAI 不报告搜索时间，所以我们从 stream events 中测量。该时间包含 OpenAI 的处理时间，因此搜索部分的柱状图是上限值。

这是 OpenAI 与 Anthropic 订阅的当前状态。任何 Claude 计划中的 Opus 和 Sonnet 5.5，其每美元价值都远超所有 OpenAI 计划。(5/6)

SemiAnalysis 指出，订阅套餐的价值不能孤立地用美元衡量，应理解为月费换取一定数量的“credits”，不同（模型, token 类型）组合消耗的 credits 不同。由于 credit 消耗比例可能与 API 价格比例差异巨大，同一 $200/月 Claude 套餐的“价值”会随所用模型和工作负载而变化。该推文将按此框架拆解同一套餐在不同场景下的 API 等价价值。

Anthropic 订阅的价值是 OpenAI 的 5 倍以上 对 Anthropic、OpenAI、Meta、SpaceXAI、MiniMax、Moonshot、Zdotai、Cursor 和 Cognition 的每项 AI 订阅计划进行极限测试 newsletter.semianalysis.com/…

独立评估至关重要。

Agent Arena 发布跨领域智能体能力排行榜，基于智能体解决全球用户提交的真实任务的 live traces，按相对当前前沿的整体净改进和各任务类别表现排名。

如果你在构建智能体，请注意这一点。 模拟公司对于改进智能体产品意义重大。 这是因为好的智能体评测需要像真实公司一样运作的环境。 Era by Eon 可以在 Salesforce、Zendesk、Slack、Jira 及其他系统中生成一个完整的公司。 每个系统的表现都与真实供应商一致，包括速率限制、分页和错误码。你可以重置该公司，并在更改模型或提示词后重新运行相同的任务。

Claude 5.5 真的太棒了。

一篇论文指出 AI 智能体可能因错误原因在基准测试中拿到满分，作者建议评估时限制真实访问权限并查看行动日志。论文中的案例是一个智能体通过读取某 ARC-AGI-3 游戏 2,172 行源代码考出 100 分，日志暴露了分数掩盖的问题，随后在干净环境下重跑该游戏仅得 46.91 分。

OpenAI 在模型版本数量 benchmark 上继续领先

一张按模型版本数量排名的 benchmark 图表显示 OpenAI 继续以明显优势领先，发帖者称这只是一个 benchmark。评论区提到 Anthropic 紧随其后，若发布 Fable 或 Opus 6 将只差 0.1 个版本点，也有人质疑该榜单把同一家模型混排、未对齐推理预算与采样次数。

SemiAnalysis 评价 Google GPU 集群体验已达到 Gold 级，Google 团队在不到 2 年内从 Bronze 升至 Gold。但 GCP GPU 体验仍不及 Platinum 级的 CoreWeave 和 Nebius，控制台 UI 被比作 DMV 般繁琐，Google Cloud CLI 偶尔失灵，有时被迫改用浏览器连接且同样不稳定。

研究称前沿 AI 模型在会计任务上已快于并准于初级会计师

一项研究指出，在中等长度、定义明确的会计任务上，前沿 AI 模型现在比初级会计师更快、更准确，甚至优于研究中表现最好的那位会计师。作者提到，18 个月前这些模型的得分还远低于人类会计师。相关讨论见 Mercor 博客文章《Human Baselines for Benchmarks: AI Now Outperforms Junior Accountants》。

路由器并不总是更好。模型切换需要重建输入缓存，任务复杂度难以从提示词判断，选择逻辑也会增加延迟。 这些基准测试帮助你找到在所需成本下，对你的工作最高效的路由器和模型组合。

Lohit Siriki kaggle.com/code/sirikilohit/… linkedin.com/in/lohitsiriki/

研究显示 Claude Opus 5 在会计任务上 20 题全对，12 名注册会计师正确率 0% 至约 90%

一项针对中等长度、定义明确的会计任务的研究发现，前沿 AI 模型比初级会计师更快更准确，甚至优于研究中表现最好的会计师。Claude Opus 5 在 20 道题中取得 20 题全对、正确率 100%，每题几分钟内完成；12 名持证注册会计师的正确率从 0% 到约 90% 不等，其中数人用完了 3 小时时限。研究还提到，18 个月前这些模型在同类任务上的得分远低于人类会计师。