Import AIAI 评分Import AI 464：Fable 编写 GPU kernel、AI 自动化与模拟计算
Import AI 464 汇总多项 AI 研究进展。Fable 在 KernelBench-Mega 上写出被维护者称为首个真正且最快的 megakernel。
#评测/基准
#评测/基准
- Import AIAI 评分
Hugging Face BlogAI 评分
ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。
OpenAI NewsAI 评分 OpenAI 推出 GeneBench-Pro：面向基因组学与科研的 AI 基准测试
OpenAI 发布 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研中表现的新基准。该基准聚焦真实世界数据，而非简化任务。
Hugging Face 模型页上线 Every Eval Ever 评测结果展示
Hugging Face 模型页现已展示 Every Eval Ever（EEE）评测结果，EEE 与 Hugging Face Community Evals 实现互操作，支持结果交叉发布与溯源。
Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设 Lab Measured 与 Lab Simulated 两列做仿真到实测验证。
Hugging Face 发布 agent-eval：用自有工具链评测开源模型的智能体能力
Hugging Face 发布 agent-eval 评测工具，以 transformers 为案例，在模型 × 版本 × 任务三个维度上测量智能体完成任务所需的轮次、token 和错误率，而非只看最终答案。
推荐理由：原文给出了一套可复用的智能体工具评测方法，并展示同一改动如何在大模型与小模型上产生相反效果。
OpenAI NewsAI 评分 OpenAI 推出 LifeSciBench 生命科学评测基准
OpenAI 发布 LifeSciBench，一个由专家编写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。
- Import AIAI 评分
Import AI 461：Sequent 称"对齐尚未走上正轨"、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，认为"对齐尚未走上正轨"，计划两年内扩至 40-80 名全职员工，初期募资 1 亿至 1.5 亿美元，研究方向涵盖可扩展监督、学习理论、启发式论证、博弈论与 personas。
Google DeepMind精选AI 评分WeatherNext如何帮助美国国家飓风中心预测飓风Melissa登陆牙买加
Google DeepMind与Google Research开发的AI气象模型WeatherNext帮助美国国家飓风中心提前五天预测飓风Melissa将以五级强度登陆牙买加，置信度达80%，三天前升至接近100%。
推荐理由：原文给出WeatherNext在飓风Melissa中的预报表现与NHC验证报告结论，读者可了解AI气象模型在路径与强度预测上的实际作用。
Hugging Face 为 Open ASR Leaderboard 引入私有数据集以抵御 benchmaxxing
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入覆盖多口音、朗读与对话语音的高质量英文 ASR 私有数据集，以防 benchmaxxing 和测试集污染。
QIMMA：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA（阿拉伯语"顶峰"）阿拉伯语 LLM 排行榜，在评测模型前先对基准做质量验证，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，其中 99% 为原生阿拉伯语内容，也是首个含代码评测的阿拉伯语排行榜。验证发现 ArabicMMLU 丢弃率 3.1%、MizanQA 2.3%，问题涵盖答案错误、文本损坏与文化偏见。
Google ResearchAI 评分Google 如何评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT）评估 LLM 行为倾向与人类的一致性，覆盖 25 个 LLM。结果显示，模型规模超过 120B 及前沿闭源模型在人类标注者一致时接近完美对齐，但共识低于 90% 时对齐率停滞在 80% 出头；模型还在职场场景中倾向情绪外露、在社交争端中偏好和谐而非坚持立场。
- Google ResearchAI 评分
Google Research 研究：AI 基准测试需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了标注条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，可靠结果常需超过 10 名。
- Google DeepMindAI 评分
Google DeepMind 发布 AGI 认知分类法论文，并联合 Kaggle 举办评测黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出涵盖感知。
- Google ResearchAI 评分
Google 用高温超导研究问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和自建 RAG 系统共 6 个 LLM 回答 67 道高温超导专家级问题，由国际专家小组按 6 项指标盲评打分。
OpenAI NewsAI 评分 太平洋西北国家实验室与 OpenAI 合作加速联邦许可审批
OpenAI 与太平洋西北国家实验室联合推出 DraftNEPABench，用于评估 AI 编程智能体加速联邦许可审批的能力，显示有望将 NEPA 起草时间最多缩短 15%。该基准旨在推动基础设施审查流程的现代化。
OpenAI NewsAI 评分 OpenAI 为何不再评测 SWE-bench Verified
OpenAI 宣布不再使用 SWE-bench Verified 评测前沿编码能力，原因是该基准日益受到污染，存在测试缺陷与训练数据泄漏问题。其分析指出，这些问题导致 SWE-bench Verified 无法准确衡量编码进展，因此建议改用 SWE-bench Pro。
IBM 与 UC Berkeley 用 ITBench 和 MAST 诊断企业级智能体为何失败
IBM Research 与 UC Berkeley 用 MAST 失败分类法分析 ITBench 中 310 条 SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
OpenAI NewsAI 评分 OpenAI 与 Paradigm 推出 EVMbench 智能合约安全基准
OpenAI 与 Paradigm 联合推出 EVMbench，用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞的发现、修复与攻击三类任务。
Hugging Face 上线 Community Evals，数据集仓库可托管排行榜
Hugging Face 推出 Community Evals，基准数据集仓库现在可以注册为 benchmark 并在数据集卡片上展示排行榜，模型仓库通过 .eval_results/*.yaml 存放自己的评测分数。
推荐理由：Hugging Face 把评测分数从黑箱榜单搬到 Hub 仓库，读者可了解社区提交与复现机制如何运作。
Hugging Face 发布 Alyah 基准：评估阿拉伯语 LLM 的阿联酋方言能力
Hugging Face 团队推出 Alyah（阿联酋方言中意为"北极星"）基准，用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准包含 1,173 个由阿联酋母语者手工收集的多选题样本，覆盖问候语、诗歌、 heritage 知识等七类内容。
AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产运维的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式，覆盖 4 个智能体。
NVIDIA Nemotron 3 Nano 30B A3B 如何用 NeMo Evaluator 实现开放评测
NVIDIA 发布 Nemotron 3 Nano 30B A3B，并公开其完整评测配方，基于开源库 NeMo Evaluator 构建，任何人可复现评测流程并独立核查结果。
OpenAI NewsAI 评分 OpenAI 推出 FrontierScience 基准，评估 AI 科研推理能力
OpenAI 发布 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的进展。
- Google DeepMindAI 评分
Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3,513 个公开样例。
- Google ResearchAI 评分
Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用统一框架评估声音嵌入在检索、推理、分类、转录、分割、聚类、重排、重建八项任务上的表现。
Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布基于 60+ 模型的 ASR 趋势预印本。
OpenAI NewsAI 评分 OpenAI：评估（evals）如何驱动企业 AI 的下一章
OpenAI 发文阐述评估（evals）如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并形成战略优势。文章围绕企业在 AI 落地中如何借助评估体系把控性能与风险展开，未披露具体模型、版本或基准分数。
OpenAI NewsAI 评分 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 发布 IndQA，一个用于评估 AI 系统在印度语言中表现的基准，覆盖 12 种语言和 10 个知识领域，由领域专家共同构建，重点考察文化理解与推理能力。
Hugging Face 推出 BigCodeArena：通过代码执行端到端评判代码生成
Hugging Face 发布 BigCodeArena，这是首个通过实际执行来评估代码生成模型的人类参与平台，支持 10 种语言和 8 种执行环境，可实时运行模型生成的代码并投票对比。平台自 2025 年 2 月上线以来已收集超 14,000 次对话、500 多名用户和 4,700+ 偏好投票，o3-mini 与 o1-mini 在 Elo 排名中持续领先。
Hugging Face 推出 RTEB：面向真实场景的检索嵌入评测新基准
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评测嵌入模型的真实检索泛化能力。该基准覆盖 20 种语言，聚焦法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测，单个数据集至少含 1k 文档和 50 条查询。
OpenAI NewsAI 评分 OpenAI 推出 GDPval：在 44 种职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一项衡量模型在真实世界、具有经济价值任务上表现的新评测，覆盖 44 种职业。该评测聚焦模型在实际工作场景中的可用性，而非传统学术基准。
OpenAI NewsAI 评分 OpenAI 推出 HealthBench：面向医疗 AI 的评估基准
OpenAI 发布医疗 AI 评估基准 HealthBench，在真实场景中评测模型表现，由 250+ 名医生参与构建，旨在为医疗领域的模型性能与安全性提供统一标准。
OpenAI NewsAI 评分 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个用于评估浏览智能体（browsing agents）的基准测试。该基准旨在衡量 AI 智能体在网页浏览任务中的表现。
Mistral AIAI 评分
Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 配合结构化输出评估 RAG 系统，让"裁判 LLM"按数值、二元或定性量表为"生成 LLM"的答案打分，再对评测数据集取平均得到加权总分。
OpenAI NewsAI 评分 OpenAI 发布 PaperBench：评估 AI 复现前沿研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准测试考察智能体能否从零复现最先进的 AI 研究，目前官方仅公布了这一评测目标，尚未披露具体分数或模型表现。
OpenAI NewsAI 评分 OpenAI 发布 SWE-Lancer 基准测试
OpenAI 推出 SWE-Lancer 基准测试，用于检验前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准围绕真实外包项目设计，衡量模型在实际软件工程工作中的表现。
OpenAI NewsAI 评分 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问，评估模型的事实准确性。
OpenAI NewsAI 评分 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准聚焦智能体完成机器学习工程的能力评估。
OpenAI News精选AI 评分 OpenAI 发布人工校验的 SWE-bench Verified
OpenAI 发布 SWE-bench 的人工校验子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实软件问题的能力。
推荐理由：OpenAI 发布经人工校验的 SWE-bench 子集，可用于比较模型解决真实软件问题的能力。