Microsoft Research 播客访谈：AI 评测中的意外失败与应对之道
Microsoft Research 播客中，主持人 Chad Atalla 与 Microsoft 合作研究经理、Purdue 教授 Jennifer Neville 对谈，讨论评测如何推动当今 AI 系统性能边界，以及模型在传统基准之外测试时出现的意外失败。
#评测/基准
#评测/基准
Microsoft ResearchAI 评分
GitHub Blog · AI & MLAI 评分GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放基准，研究预览版现已上线。
Hugging Face BlogAI 评分
Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
OpenAI NewsAI 评分 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，从有用性和安全性两个维度衡量模型表现。
英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果，覆盖 HealthBench。
IBM 研究提出一致性指南，将 ReAct 智能体的 Pass^5 一致性差距从 24.4 点缩小到 12.0 点
IBM 研究团队在 ALTK-Evolve 中新增一致性指南（consistency guidelines），基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。
推荐理由：原文用 Pass^k 与 Mean@k 的差距量化智能体不确定性，并给出可复用的诊断与改进流程。
BenchMIRT：LLM 基准测试究竟在测什么？
Hugging Face 推出 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的新方法，基于多维项目反应理论（MIRT）分离同一基准中混杂的能力信号。
Hugging Face Open ASR Leaderboard 新增首个全球南方语言：印地语与印度英语评测集 Monsoon
Hugging Face 与 Voice Arena 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上首个 Indic 语言。四个公开/私有 split 共覆盖 4,888 名说话人，每人记录 12 项属性，且说话人不重叠；印地语集采用 lattice 标注以容纳多种可接受的拼写变体。
Google DeepMindAI 评分Google DeepMind 首次试点双重盲测 AI 评估，用密码学环境防止基准污染
Google DeepMind 推出全球首个针对专有前沿 AI 模型的双重盲测评估，将外部评测限制在密码学"黑箱"中，防止模型提前接触测试题造成基准污染。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境中用保密基准测试 Gemini Flash Lite 模型。
Hugging Face 研究：语音识别模型存在基准优化问题
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测 11 个开源 ASR 模型。结果显示，部分高分模型会在音频与参考文本矛盾时复现基准的错误转写，VoxPopuli 分析样本中约 40% 的片段被标记出参考错误，涉及约 3% 的参考词，这类模型复现错误参考的比例为 18–30%。
推荐理由：通过三项探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Microsoft ResearchAI 评分 MindTopo 揭示多模态大模型的空间推理能力短板
微软研究院推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显优于交互式规划任务，且两者均远低于人类水平；失败多发生在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助，序列任务中仍不可靠。
Google ResearchAI 评分Google Research：前沿 LLM 的事实性瓶颈在召回而非编码
Google Research 提出知识画像框架，用 WikiProfile 基准（2,150 条维基百科事实、每条配 10 道题）区分编码与召回，发现 Gemini-3-Pro 和 GPT-5 有 95–98% 的事实已编码，却仍无法直接召回 26–34%，即使开启思考也失败 11–12%。
Hugging Face ALTK-Evolve 如何用更少 Token 超越 ACE
Hugging Face 的 ALTK-Evolve 在 AppWorld 上以按需检索指南替代 ACE 的全量 playbook 注入，用更少 Token 取得更高任务完成率。
OpenAI NewsAI 评分 如何通过两个设置让 GPT-5.6 在 ARC-AGI-3 基准测试中得分提升三倍
OpenAI 通过启用两个 API 设置，让 GPT-5.6 在 ARC-AGI-3 基准测试中的得分提升至原来的三倍。这两个设置分别用于保留推理过程和启用压缩（compaction），在提升得分的同时也改善了效率。
Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质感
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音交互的"人类质感"，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分 OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出流行编码基准 SWE-Bench Pro 存在可靠性与准确性方面的问题。该分析揭示了这一用于评估 AI 模型的基准在评测中可能产生误导性结果。
ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。
OpenAI NewsAI 评分 OpenAI 推出 GeneBench-Pro：面向基因组学与科研的 AI 基准测试
OpenAI 发布 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研中表现的新基准。该基准聚焦真实世界数据，而非简化任务。
Hugging Face 模型页上线 Every Eval Ever 评测结果展示
Hugging Face 模型页现已展示 Every Eval Ever（EEE）评测结果，EEE 与 Hugging Face Community Evals 实现互操作，支持结果交叉发布与溯源。
Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设 Lab Measured 与 Lab Simulated 两列做仿真到实测验证。
Hugging Face 发布 agent-eval：用自有工具链评测开源模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，以 transformers 为案例，在模型 × 版本 × 任务三个维度上测量智能体完成任务所需的轮次、token 和错误率，而非只看最终答案。
推荐理由：原文给出了一套可复用的智能体工具评测方法，并展示同一改动如何在大模型与小模型上产生相反效果。
OpenAI NewsAI 评分 OpenAI 推出 LifeSciBench 生命科学评测基准
OpenAI 发布 LifeSciBench，一个由专家编写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。
- Google DeepMind精选AI 评分
WeatherNext如何帮助美国国家飓风中心预测飓风Melissa登陆牙买加
Google DeepMind与Google Research开发的AI气象模型WeatherNext帮助美国国家飓风中心提前五天预测飓风Melissa将以五级强度登陆牙买加，置信度达80%，三天前升至接近100%。
推荐理由：原文给出WeatherNext在飓风Melissa中的预报表现与NHC验证报告结论，读者可了解AI气象模型在路径与强度预测上的实际作用。
Hugging Face 为 Open ASR Leaderboard 引入私有数据集以抵御 benchmaxxing
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入覆盖多口音、朗读与对话语音的高质量英文 ASR 私有数据集，以防 benchmaxxing 和测试集污染。
QIMMA：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA（阿拉伯语"顶峰"）阿拉伯语 LLM 排行榜，在评测模型前先对基准做质量验证，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，其中 99% 为原生阿拉伯语内容，也是首个含代码评测的阿拉伯语排行榜。验证发现 ArabicMMLU 丢弃率 3.1%、MizanQA 2.3%，问题涵盖答案错误、文本损坏与文化偏见。
- Google ResearchAI 评分
Google 如何评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT）评估 LLM 行为倾向与人类的一致性，覆盖 25 个 LLM。结果显示，模型规模超过 120B 及前沿闭源模型在人类标注者一致时接近完美对齐，但共识低于 90% 时对齐率停滞在 80% 出头；模型还在职场场景中倾向情绪外露、在社交争端中偏好和谐而非坚持立场。
- Google ResearchAI 评分
Google Research 研究：AI 基准测试需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了标注条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，可靠结果常需超过 10 名。
- Google DeepMindAI 评分
Google DeepMind 发布 AGI 认知分类法论文，并联合 Kaggle 举办评测黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出涵盖感知。
- Google ResearchAI 评分
Google 用高温超导研究问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和自建 RAG 系统共 6 个 LLM 回答 67 道高温超导专家级问题，由国际专家小组按 6 项指标盲评打分。
OpenAI NewsAI 评分 太平洋西北国家实验室与 OpenAI 合作加速联邦许可审批
OpenAI 与太平洋西北国家实验室联合推出 DraftNEPABench，用于评估 AI 编程智能体加速联邦许可审批的能力，显示有望将 NEPA 起草时间最多缩短 15%。该基准旨在推动基础设施审查流程的现代化。
OpenAI NewsAI 评分 OpenAI 为何不再评测 SWE-bench Verified
OpenAI 宣布不再使用 SWE-bench Verified 评测前沿编码能力，原因是该基准日益受到污染，存在测试缺陷与训练数据泄漏问题。其分析指出，这些问题导致 SWE-bench Verified 无法准确衡量编码进展，因此建议改用 SWE-bench Pro。
IBM 与 UC Berkeley 用 ITBench 和 MAST 诊断企业级智能体为何失败
IBM Research 与 UC Berkeley 用 MAST 失败分类法分析 ITBench 中 310 条 SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
OpenAI NewsAI 评分 OpenAI 与 Paradigm 推出 EVMbench 智能合约安全基准
OpenAI 与 Paradigm 联合推出 EVMbench，用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞的发现、修复与攻击三类任务。
Hugging Face 上线 Community Evals，数据集仓库可托管排行榜
Hugging Face 推出 Community Evals，基准数据集仓库现在可以注册为 benchmark 并在数据集卡片上展示排行榜，模型仓库通过 .eval_results/*.yaml 存放自己的评测分数。
推荐理由：Hugging Face 把评测分数从黑箱榜单搬到 Hub 仓库，读者可了解社区提交与复现机制如何运作。
Hugging Face 发布 Alyah 基准：评估阿拉伯语 LLM 的阿联酋方言能力
Hugging Face 团队推出 Alyah（阿联酋方言中意为"北极星"）基准，用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准包含 1,173 个由阿联酋母语者手工收集的多选题样本，覆盖问候语、诗歌、 heritage 知识等七类内容。
AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产运维的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式，覆盖 4 个智能体。
NVIDIA Nemotron 3 Nano 30B A3B 如何用 NeMo Evaluator 实现开放评测
NVIDIA 发布 Nemotron 3 Nano 30B A3B，并公开其完整评测配方，基于开源库 NeMo Evaluator 构建，任何人可复现评测流程并独立核查结果。
OpenAI NewsAI 评分 OpenAI 推出 FrontierScience 基准，评估 AI 科研推理能力
OpenAI 发布 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的进展。
- Google DeepMindAI 评分
Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3,513 个公开样例。
- Google ResearchAI 评分
Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用统一框架评估声音嵌入在检索、推理、分类、转录、分割、聚类、重排、重建八项任务上的表现。