#Hugging Face
#Hugging Face
akshay_pachaar@akshay_pachaarAI 评分
Hugging Face Blog精选AI 评分
微软与 Hugging Face 发布 ThinkingBox：按数据库终态而非生成文本给 AI 智能体打分
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox，通过隔离的 MCP 工具会话运行智能体，按终端后端状态和副作用而非生成文本打分，覆盖 507 个有状态业务流程、每个任务重复运行 20 次。
推荐理由：微软与 Hugging Face 联合发布的智能体评测基准，用 507 个有状态工作流和 20 次重复运行，把工具调用成功率与数据库终态正确率区分开来。
ServiceNow CoreAI 的 AutoSynthData 如何为企业智能体生成训练数据
ServiceNow CoreAI 构建了 AutoSynthData，利用目标模型的失败与更强教师的成功来定位能力缺口，并生成、验证新的可执行训练任务，课程随模型进步向仍难的任务迁移。该方法以 EnterpriseOps Gym 数据集演示，任务由系统规范、用户提示词和验证器三部分组成，需满足可行性、真实性与难度要求。
_akhaliq@_akhaliqAI 评分 Omni-IO Skills Harnessing Your Agent Omni-Native paper: huggingface.co/papers/2609.3…
OpenBMB@OpenBMBAI 评分 面壁智能 OpenBMB 等团队提出 Diffusion Reward Models（DRM），不再把人类偏好压缩成单一分数，而是学习完整奖励分布，保留分歧、不确定性与多种合理判断。
Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
CompleteSkeptic@CompleteSkepticAI 评分
ProvenanceGuard：面向 MCP 智能体的来源感知事实核查
Hugging Face 博客介绍论文 ProvenanceGuard，一个面向 MCP 智能体的生成后验证层，专门检测"跨来源混淆"——即事实在证据池中为真、却被归给错误来源。在 281 条医疗智能体真实 trace 上，专家判定 361 条 claim 中 139 条不应通过，ProvenanceGuard 拦下 138 条，并在可识别来源的 claim 上约 86% 选对来源。
X：AK (@_akhaliq)AI 评分 FuseReg：正则化层融合缓解表征自编码器的重建-生成差距
论文提出 FuseReg，通过正则化层融合来缓解表征自编码器中的重建-生成差距。该工作指出，启发式层融合会导致不匹配，因为重建的最优融合与生成的最优融合并不相同。
IBM 研究提出一致性指南，将 ReAct 智能体的 Pass^5 一致性差距从 24.4 点缩小到 12.0 点
IBM 研究团队在 ALTK-Evolve 中新增一致性指南（consistency guidelines），基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。
推荐理由：原文用 Pass^k 与 Mean@k 的差距量化智能体不确定性，并给出可复用的诊断与改进流程。
BenchMIRT：LLM 基准测试究竟在测什么？
Hugging Face 推出 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的新方法，基于多维项目反应理论（MIRT）分离同一基准中混杂的能力信号。
Hugging Face Open ASR Leaderboard 新增首个全球南方语言：印地语与印度英语评测集 Monsoon
Hugging Face 与 Voice Arena 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上首个 Indic 语言。四个公开/私有 split 共覆盖 4,888 名说话人，每人记录 12 项属性，且说话人不重叠；印地语集采用 lattice 标注以容纳多种可接受的拼写变体。
Multiverse Computing 提出 Quantization-Aware Healing，4-bit 压缩模型在 7/9 基准上超过其 bfloat16 版本
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》，提出 QAH 方法：在结构压缩并量化后，直接从压缩前的原始模型蒸馏，而非从恢复出的 bfloat16 检查点蒸馏。
推荐理由：论文给出压缩加量化后从原始模型蒸馏的恢复配方，并附9项基准对比与QAT稳定性差异。
Hugging Face 研究：语音识别模型存在基准优化问题
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测 11 个开源 ASR 模型。结果显示，部分高分模型会在音频与参考文本矛盾时复现基准的错误转写，VoxPopuli 分析样本中约 40% 的片段被标记出参考错误，涉及约 3% 的参考词，这类模型复现错误参考的比例为 18–30%。
推荐理由：通过三项探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
ALTK-Evolve 研究：智能体到底需要多少记忆
IBM Research 在 Hugging Face 博客发布 ALTK-Evolve 研究，用 AppWorld 的 585 个多步任务评测八款模型，发现智能体记忆不是开关而是需要按模型校准的剂量。
推荐理由：八模型对比给出了智能体记忆的三种剂量模式与 token 开销数据，可据此判断自家模型该用全量还是检索式注入。
Hugging Face 用智能体复现 2226 篇 ICML 论文
Hugging Face 在 7 月 15 日至 8 月 2 日举办 ICML 2026 开放复现挑战，1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体逐条复现论文，共发布 6816 份 Trackio logbook，覆盖 2226 篇论文，占全部录用论文的 34%。
推荐理由：Hugging Face 公开了 2200 余篇 ICML 论文的复现结果与判定数据，可据此了解智能体参与科研复现的可行边界。
Hugging Face ALTK-Evolve 如何用更少 Token 超越 ACE
Hugging Face 的 ALTK-Evolve 在 AppWorld 上以按需检索指南替代 ACE 的全量 playbook 注入，用更少 Token 取得更高任务完成率。
Hugging Face 论文：用离线 Top-K Logits 与融合分块 KL 损失降低 LLM 知识蒸馏成本
Hugging Face 最新论文提出两项系统改动，让 LLM 知识蒸馏成本大幅下降：先离线缓存教师模型的 top-100 logits，使教师模型无需与学生模型同时驻留显存；再用融合分块 KL 损失，避免生成完整的词表×序列长度矩阵。
新模型来了，优势依旧：DharmaOCR 在巴西葡萄牙语 OCR 上仍领先 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语专项基准上以 0.925 分领先 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587，后两者分别落后约 13 分和 16 分以上。该模型经葡萄牙语监督微调加 DPO 两阶段训练，把全部参数集中于巴西葡萄牙语，在复杂文档提取质量和生成稳定性上形成结构性优势。文章认为，新架构并未改变这一领域专精带来的差距。
Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质感
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音交互的"人类质感"，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 与语音理解。
ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。
DiScoFormer：一个 Transformer 同时估计密度与 score，跨分布通用
Hugging Face 博客介绍 DiScoFormer（Density and Score Transformer），一个模型在单次前向传播中即可从一组数据点估计分布的密度与 score，无需针对新分布重新训练。
Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 基准榜单
Hugging Face 与 Treble Technologies 上线首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设 Lab Measured 与 Lab Simulated 两列做仿真到实测验证。
MosaicLeaks：你的研究智能体能守住秘密吗？
Hugging Face 博客提出 MosaicLeaks，用 1,001 条多跳研究链测试深度研究智能体的隐私泄漏，这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄漏隐私，仅针对任务表现训练会加剧泄漏；其提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%，同时把答案/全信息泄漏率从 34.0% 降至 9.9%。
Hugging Face 为 Open ASR Leaderboard 引入私有数据集以抵御 benchmaxxing
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入覆盖多口音、朗读与对话语音的高质量英文 ASR 私有数据集，以防 benchmaxxing 和测试集污染。
Granite 4.1 LLM 是如何训练的：IBM 公开数据工程、预训练与强化学习全流程
IBM Granite 团队发布技术文章，详解 Granite 4.1 系列稠密 LLM（3B、8B、30B）的训练流程：约 15T tokens 五阶段预训练，上下文窗口经长上下文扩展至 512K tokens，随后用约 4.1M 条高质量样本做 SFT，并采用 on-policy GRPO 配合 DAPO loss 的多阶段强化学习。
推荐理由：Granite 4.1 团队公开了从数据配比到多阶段 RL 的完整训练细节，可对照其 8B 稠密模型追平 32B MoE 的结论。
QIMMA：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA（阿拉伯语"顶峰"）阿拉伯语 LLM 排行榜，在评测模型前先对基准做质量验证，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，其中 99% 为原生阿拉伯语内容，也是首个含代码评测的阿拉伯语排行榜。验证发现 ArabicMMLU 丢弃率 3.1%、MizanQA 2.3%，问题涵盖答案错误、文本损坏与文化偏见。
IBM 与 UC Berkeley 用 ITBench 和 MAST 诊断企业级智能体为何失败
IBM Research 与 UC Berkeley 用 MAST 失败分类法分析 ITBench 中 310 条 SRE 执行轨迹，覆盖 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 三类模型。
Hugging Face 发布 Alyah 基准：评估阿拉伯语 LLM 的阿联酋方言能力
Hugging Face 团队推出 Alyah（阿联酋方言中意为"北极星"）基准，用于评估阿拉伯语 LLM 对阿联酋方言的语言、文化与语用理解能力。该基准包含 1,173 个由阿联酋母语者手工收集的多选题样本，覆盖问候语、诗歌、 heritage 知识等七类内容。
AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产运维的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式，覆盖 4 个智能体。
Intel 发布 DeepMath：基于 smolagents 的轻量级数学推理 Agent
Intel AI Software Group 推出 DeepMath，一个基于 Qwen3-4B Thinking 并用 GRPO 微调的数学推理 Agent，通过 smolagents 实现，让模型生成 Python 片段在沙箱中执行并回填结果。
Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布基于 60+ 模型的 ASR 趋势预印本。
ServiceNow 发布 Apriel-H1：将 15B 推理模型蒸馏为 Mamba 混合架构，吞吐提升 2.1 倍
ServiceNow 的 SLAM Lab 发布 Apriel-H1，把 15B 推理模型改造成 Mamba 混合架构，旗舰版 Apriel-H1-15b-Thinker-SFT 实现 2.1 倍吞吐且质量损失很小，MATH500 从 0.90 升到 0.92、MTBench 从 8.30 升到 8.58，GSM8k、GPQA、AIME24 略有下降。
推荐理由：ServiceNow 公开了把 15B 推理模型蒸馏成 Mamba 混合架构的完整流程与七个 checkpoint，可看到效率与质量的取舍曲线。
Hugging Face 发起 AI for Food Allergies 项目：用 AI 推进食物过敏研究
Hugging Face 发起 AI for Food Allergies 项目，计划打造首个社区驱动的研究实验室，探索 AI 如何推进食物过敏研究。全球约 2.2 亿人患有至少一种食物过敏，美国约占总人口 10%。项目将连接前沿 AI 与生物医学，开发开放协作项目，服务研究者、临床医生与患者。
NVIDIA 发布 Nemotron-Personas-India：面向主权 AI 的合成印度人设数据集
NVIDIA 发布 Nemotron-Personas-India，首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人设数据集，采用 CC BY 4.0 许可。
Hugging Face 推出 RTEB：面向真实场景的检索嵌入评测新基准
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评测嵌入模型的真实检索泛化能力。该基准覆盖 20 种语言，聚焦法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测，单个数据集至少含 1k 文档和 50 条查询。
NVIDIA 发布 Nemotron-Personas-Japan：面向主权 AI 的日语合成数据集
NVIDIA 发布首个面向日本的主权 AI 开源合成数据集 Nemotron-Personas-Japan，含 600 万条日语合成人物画像（100 万条记录、每条 6 个画像），总 token 约 14 亿，覆盖约 95 万个独特姓名和 1500 以上职业类别，以 CC BY 4.0 许可开放商用。
Hugging Face 发布 Smol2Operator：面向 Computer Use 的 GUI 智能体后训练方案
Hugging Face 开源 Smol2Operator，以 SmolVLM2-2.2B-Instruct 为基线，通过两阶段训练将无 grounding 能力的视觉语言模型变为可操作 GUI 的智能体。
Hugging Face 发布 Gaia2 智能体基准与 ARE 研究环境
Hugging Face 发布 GAIA 的后续智能体基准 Gaia2，并配套开源 Meta Agents Research Environments（ARE）框架，用于运行、调试和评估智能体。
推荐理由：Gaia2 把智能体评测从只读检索扩展到读写交互，并给出各模型在歧义、适应性和时间推理上的差距。
SandboxAQ 发布 SAIR：500 万+ AI 生成蛋白质-配体结构数据集加速药物研发
SandboxAQ 发布 Structurally Augmented IC50 Repository（SAIR），这是目前最大的共折叠 3D 蛋白质-配体结构数据集，包含超 500 万个 AI 生成的高精度结构，每个结构均配有 ChEMBL 或 BindingDB 的实验测定 IC₅₀ 标签。