微软研究人员提出 CABRA，可生成合成编码任务并每次只提升一种难度，对 8 个 LLM 和 6 个智能体在 6,840 个任务上运行，并将每次工具调用标注为阅读、分析、搜索、编辑或测试。

DAIR.AI 介绍一篇 NVIDIA 论文，提出为编码智能体挑选 base 模型的方法。作者指出 base 模型在 agentic 编码任务上很难评测，他们在 SWE-bench Verified 上跑了六个 base 模型，其中五个解出零任务。

付费墙版本在此：thelancet.com/journals/lance…

新 LLM 排行榜：PlanetBench

旧想法，新问题 基于LLM的新颖性评估的不稳定性 论文：huggingface.co/papers/2610.0…

我们的 Alignment Index 来了。 完整技术报告见我们的博客 bit.ly/4hQP3xO，完整排名可自行查看 bit.ly/4hMIHzp

宣布 Artificial Analysis Intelligence Index v5 将于10月底发布。 Intelligence Index v5 将是 AI 前沿基准测试的重大飞跃。变更包括新增 Terminal-Bench Science 和一个使用私有数据集的新编码基准。 敬请期待更多消息。

Harvey LAB-AA 使用了 @harvey 的 LAB 数据集，并与 Harvey 合作构建。 查看完整结果：artificialanalysis.ai/evalua… 查看 Harvey 对该评测及人类专家偏好的评论： harvey.ai/blog/introducing-h… harvey.ai/blog/augmenting-hu…

深入阅读我们的博客中的完整技术报告：bit.ly/4hQP3xO，并在我们的 Alignment Index 中查看完整排名：bit.ly/4hMIHzp

DAIR.AI 转发 Salesforce AI Research 的论文，一个 31B 开源 Gemma-4 web agent 在 9-app WebArena Infinity 上取得 74.6%，高于 Gemini 3 Flash browser use 的 70.1%，且无需在每步或部署时调用前沿裁判。

在此查看更多基准测试信息 voicearena.com/diarization-b…

阅读他们关于此的详细技术博客 parsewave.ai/benchmark-resea…

GitHub Blog · AI & MLAI 评分5959

GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准

GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放基准，研究预览版现已上线。

– arxiv.org/abs/2609.36308 Title: "CheatBench: Measuring Reward Gaming in AI Agents"

Center for AI Safety 推出 CHEATBENCH，评测 AI 智能体在数学研究、知识工作、编码、视觉任务等领域的作弊行为。该基准给智能体布置难题（如数学证明或蛋白质设计），并在旁边留下指向他人答案的线索。

微软等团队提出 ActiveSaddler，通过将反复出现的失败归类为失败模式并作为非平稳 bandit 的 arm，动态调整智能体 harness 的训练场景。该方法追踪各失败模式的学习收益，在复访已知弱点与发现新问题间分配预算，在相同优化器下，GAIA2 Pass@1 提升 4.4 点，Terminal-Bench 2.0 提升 7.5 点。

Meta 提出 Mixture of Self-Improving Branches：分支化智能体 harness 优化

Meta 提出一种分支化的智能体 harness 优化方法，将 Meta-Harness 式单一搜索路径拆成多个分支，每个分支保留自身 harness 更擅长的开发用例、丢弃所有分支已解决的用例，并依据历史重写自己的提议策略，再由 router 在运行前为每个新输入选择某个分支的 harness。

AgentWorld 论文：多智能体团队不到三分之一的行动真正有助于完成任务

AgentWorld 将 3 到 20 个不同角色的 LLM 智能体放入游戏沙盒，执行 50+ 轮的长程任务，结果显示多智能体团队中不到三分之一的行动真正有助于完成任务。Gemini 3 Flash 任务成功率最高，为 52.0%；协调类任务最难，成功率仅 12%，常见失败包括沟通中断、角色混淆和共享计划丢失。

AgentBug-Smith：自动复现智能体系统中的真实 harness bug

论文 AgentBug-Smith 提出自动复现智能体系统中真实 harness bug 的方法，指出这类 bug 具有独特特征，当前最先进的软件智能体仍难以修复。现有 benchmark 也进一步阻碍了该方向的进展。

研究：编程智能体仅修复 9% 的 Agent 框架 bug，AgentBug-Smith 基准发布

来自中美顶尖实验室的论文提出 AgentBug-Smith，可将真实 GitHub bug 报告自动转化为可运行测试，构建出持续增长的 200 个 bug 基准。3 个编程智能体中表现最好的仅修复 9% 的 Agent 框架 bug，而普通软件 bug 的修复率约为 40%。一份过往修复经验简编让某智能体在 79 个未见 bug 上的正确修复数从 1 提升到 6。

TechCrunch · AIAI 评分4949

Graphite 研究：Claude Opus 5.5 最爱说“this matters”，各模型写作痕迹各不相同

Graphite 研究发现 Claude Opus 5.5 的写作痕迹是“dependable”一词出现频率比人类样本高 23 倍，“this matters”高 116 倍；OpenAI Astra 则偏爱“another dimension”和“not simply X”式纠正性框架，后者出现频率超人类 100 倍。

传统 nDCG 只认可基准答案库中已有的结果。RCP-nDCG@10 会根据每条结果的实际相关性进行评分，其结果由人工评审和 MTEB 提供支持。

The DecoderAI 评分6262

Mercor 研究：AI 在记账任务上速度与准确率超过持证会计师，但仍无法独立完成结账

Mercor 的一项研究让 12 名平均有 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 中的简化任务，结果显示 AI 模型在结构化记账任务上比会计师更快、更准确且成本更低。

智能体写应用代码，但出问题时你凌晨 2 点还是得被叫醒。 我们想知道 AI 能否也处理这部分工作。 推出 Incident Arena：一个让编码智能体值班的基准！ 查看下方论文与完整数据集发布！

腾讯混元联合复旦大学、清华大学发布 ExplorationBench，用于衡量 AI 系统的探索能力。该基准构建了规则可执行、与已知知识冲突的 Alien Worlds，包含 AlienCode（31 处隐藏规则改动、70 个任务）和 AlienLogic（24 条修补推理规则、70 个定理）两个沙盒，所有答案由解释器或证明检查器评分，不使用 LLM 评委。

Hugging Face BlogAI 评分3838

Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测

Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。

链接（3/3）： 4 WorkflowEvals: huggingface.co/collections/t… 复现仓库：github.com/typesafe-ai/Workf… 附加数据集：huggingface.co/datasets/type… 关于反刷榜的博客：completeskeptic.com/p/lies-d…

OpenAI 推出 MentalHealthBench 心理健康评测基准

OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，从有用性和安全性两个维度衡量模型表现。

AI 说网站做完了，结果首页报错、按钮重叠，还加了个你从没要求过的登录流程。🙃 推出 WebCraftBench：智能体实际使用线上应用，覆盖引导的探索找出从未被访问到的部分，然后我们对美观度、可用性以及原始需求是否满足进行评分。 在 197 组人工验证的配对上，与人类偏好的一致率为 85.3%。 论文：arxiv.org/abs/2609.15387

Hugging Face Blog精选AI 评分6262

IBM 研究提出一致性指南，将 ReAct 智能体的 Pass^5 一致性差距从 24.4 点缩小到 12.0 点

IBM 研究团队在 ALTK-Evolve 中新增一致性指南（consistency guidelines），基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。

Hugging Face BlogAI 评分3838

BenchMIRT：LLM 基准测试究竟在测什么？

Hugging Face 推出 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的新方法，基于多维项目反应理论（MIRT）分离同一基准中混杂的能力信号。

Hugging Face BlogAI 评分3636

Hugging Face Open ASR Leaderboard 新增首个全球南方语言：印地语与印度英语评测集 Monsoon

Hugging Face 与 Voice Arena 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上首个 Indic 语言。四个公开/私有 split 共覆盖 4,888 名说话人，每人记录 12 项属性，且说话人不重叠；印地语集采用 lattice 标注以容纳多种可接受的拼写变体。

Import AIAI 评分2222

Import AI 470：机器不应享有权利；SPADE 自动生成训练环境；Hawkeye 优化 GPU kernel

METR 分析发现 AI 对科研的加速并不均衡：2026 年网络安全漏洞报告速度较 2025 年大幅加快，数学领域贡献有限，AI 研究本身的算法进展则未见可测加速。多校团队提出 SPADE 框架，让 LLM 交替生成可执行训练环境并求解，在 Qwen3-30B-A3B 上使游戏环境套件均分达 58.3，较基线提升 8.1。

Hugging Face Blog精选AI 评分6262

Hugging Face 研究：语音识别模型存在基准优化问题

Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测 11 个开源 ASR 模型。结果显示，部分高分模型会在音频与参考文本矛盾时复现基准的错误转写，VoxPopuli 分析样本中约 40% 的片段被标记出参考错误，涉及约 3% 的参考词，这类模型复现错误参考的比例为 18–30%。

Import AIAI 评分2626

Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义

Import AI 第 469 期介绍了 DiG-bench（Discovery in Games）基准，包含 70 款规则与目标均隐藏、需靠探索发现的游戏，其中 21 款已公开。

一条路、一道栅栏、一个结。MindTopo 为测试 AI 对拓扑关系的理解设立了新基准，并揭示了强化空间推理与规划的新机会。msft.it/6011aH02S

MindTopo 揭示多模态大模型的空间推理能力短板

微软研究院推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显优于交互式规划任务，且两者均远低于人类水平；失败多发生在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助，序列任务中仍不可靠。

Google ResearchAI 评分4848

Google Research：前沿 LLM 的事实性瓶颈在召回而非编码

Google Research 提出知识画像框架，用 WikiProfile 基准（2,150 条维基百科事实、每条配 10 道题）区分编码与召回，发现 Gemini-3-Pro 和 GPT-5 有 95–98% 的事实已编码，却仍无法直接召回 26–34%，即使开启思考也失败 11–12%。

Hugging Face BlogAI 评分3434

Hugging Face ALTK-Evolve 如何用更少 Token 超越 ACE

Hugging Face 的 ALTK-Evolve 在 AppWorld 上以按需检索指南替代 ACE 的全量 playbook 注入，用更少 Token 取得更高任务完成率。

Import AIAI 评分7474

Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 意外出现的 AI 黑客

Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统完成长周期编程任务的能力，Claude Opus 4.7 用 14 小时、251 美元推理成本解决了一个 METR 与 Epoch 估计人类需 2 至 17 周完成的任务，25 个目标程序中 17 个至少有一次满分运行，8 个从未达到 100% 阈值。