Yuchen Jin：Opus 5.5 不如 Astra，前沿 LLM 编码能力在 Opus 4.8 后已停滞

Yuchen Jin 表示，尽管外界普遍称 Opus 5.5 是最强模型、进步巨大，他仍认为其不如 Astra，并称前沿 LLM 编码能力在 Opus 4.8 之后已经停滞。

这周大家都在晒 3、4 台 Spark 集群。这是一台 DGX Spark 为单个用户跑出的成绩，全部在我的机器上实测： 开启 OpenBMB 的 drafter MiniCPM5-2B：100.8 tok/s Qwen3.6-35B-A3B：89.7 Ling-3.0-flash：69.5 Qwen3.8-Flash-Next：55.5 DeepSeek-V4-Flash：47.9（EXL3） Gemma-4-E2B：39.2 Qwen3.8-27B：33.4（EXL3 + DFlash2） Tinfield-1 2-bit：30.7 一次跑一个模型，256 tokens 输入，256 输出

Latent SpaceAI 评分2222

Latent Space 宣布 AINews v3 与 Discord 合并等改版计划

Latent Space 公布未来一周的改版计划：AINews 将升级至 v3，并与 Latent Space Discord 合并，以解决 Discord 垃圾推广信息增多的问题。团队还计划迁移至 Beehiiv 并启用新主页，同时重新开放赞助与 PR 合作，并已新设 Business/Ops Manager 和 Head of Editorial。

Latent SpaceAI 评分6060

Runway 的 WorldPrompt 与实时世界模型工程

Runway 本月早些时候推出 GWM Worlds 2 研究预览，把高保真视频与音频生成变成实时交互式模拟，并新增 WorldPrompt 输入格式，可固定环境部分要素（含首帧）并生成带时间戳的事件。

新文章：本地模型与 Jev 云端 System One 分类器相比有多准确？ 我在 Mac 上跑了 8 个模型，用同样的 JevBench 问题。一个 4B 模型在短文本上与 Jev 持平。在复杂文本上，所有模型都落后 17 分以上。 rockyshikoku.medium.com/jev-… 视频：minicpm5-2b 对消息进行分类。

我们将 Muse Realtime Avatar 与两款领先的商业 avatar 系统在其各自的实时通话产品中进行了正面比较。评分者与匹配的 avatar 身份进行了 2–3 分钟的对话，然后比较了视觉质量、同步性、角色一致性和举止。 Muse Realtime Avatar 在整体偏好上胜出。

Benchmark 测试套件：

通义千问发布 Qwen Intelligence，随产品推出三个 SOTA 智能体：Mobile Planner Agent 负责复杂任务的规划、分解与编排，在 MobilePA-Bench 及其 Business。

OpenAI 推出 MentalHealthBench 心理健康评测基准

OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，从有用性和安全性两个维度衡量模型表现。

感谢 @arena 的认可！🏆 Qwen-Image-2.1 现在是 Image Edit 和 Text-to-Image 榜单上的 #1 开源模型。快来试试，展示你的创作！🎨

蚂蚁集团的 Ling 3.0 Flash Fin 是一款金融专用的开放权重模型，以预算级模型的价格提供强大的金融分析能力。 在 Finance Agent v2 上，它得分 54.9%，每任务成本仅 $0.045。

AI 说网站做完了，结果首页报错、按钮重叠，还加了个你从没要求过的登录流程。🙃 推出 WebCraftBench：智能体实际使用线上应用，覆盖引导的探索找出从未被访问到的部分，然后我们对美观度、可用性以及原始需求是否满足进行评分。 在 197 组人工验证的配对上，与人类偏好的一致率为 85.3%。 论文：arxiv.org/abs/2609.15387

上一篇文章介绍了 MiniMax Code 背后的 harness。这次我想探讨一个更难的问题：改变 harness 之后，我们如何知道它变得更好了？

Hugging Face BlogAI 评分3434

英国 AISI 如何用 EvalEval 基础设施让评测结果可复现

英国 AI Security Institute（AISI）正通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果，覆盖 HealthBench。

如果你在用 AI 构建产品，你应该花超过 25% 的时间来制作评测基准，并设法让模型实验室重视这些基准 这是加速公司进展最简单的路径

Grok 4.7 模型卡公布，多项基准分数较 4.6 明显提升：Terminal-Bench 从 20.3% 升至 38.0%，SWE-Marathon 从 31.9% 升至 46.0%，HealthBench Pro 从 48.5% 升至 56.7%，Legal Agent 从 15.8% 升至 19.6%，EEBench 从 60.0% 升至 66.0%，价格与 4.6 相同。

Google 发布 Gemini 3.8 Live 语音到语音模型，Extended Thinking (High) 变体在 Artificial Analysis Speech to Speech Index 以 82.6 登顶，在 Tau Voice 基准以 68.6% 排名第一。

Hugging Face Blog精选AI 评分6262

IBM 研究提出一致性指南，将 ReAct 智能体的 Pass^5 一致性差距从 24.4 点缩小到 12.0 点

IBM 研究团队在 ALTK-Evolve 中新增一致性指南（consistency guidelines），基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。

值得注意的是，Grok 4.6 在这里的分数略低，但我们仍认为这是一个准确的评分和对比。Grok 4.7 即将发布 😄 Muse Spark 在这里表现得相当不错，说实话！ cursor.com/cursorbench

我们刚刚推出了 CursorBench 4.0！ 它新增了关于模型如何遵循指令、在长时间内处理复杂项目的任务，并且比以前更难（所以所有模型得分都更低）。

突发：Muse Spark 1.3 (xhigh) 以 1362 的 Elo 登顶 Website Arena 总榜第一！ 相比 Muse Spark 1.2 上升了 5 个名次，确立了速度与价格的新 Pareto 前沿。 距离 Muse Spark 1.2 发布仅一个月，@AIatMeta 就在 Design Arena 该类别中登顶。 注：GPT-6 Astra 的最终结果仍待定。 恭喜 @Meta 团队！

完整结果：cursor.com/cursorbench

完整结果：cursor.com/cursorbench

Gemini 3.8 Flash 在 DeepSWE 1.1 上得分 73.7%！

Hugging Face BlogAI 评分3838

BenchMIRT：LLM 基准测试究竟在测什么？

Hugging Face 推出 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的新方法，基于多维项目反应理论（MIRT）分离同一基准中混杂的能力信号。

阅读 LatchBio 关于其对 Grok 4.6 生物能力及安全措施评估的博客：blog.latch.bio/p/analyzing-g…

Hugging Face BlogAI 评分3636

Hugging Face Open ASR Leaderboard 新增首个全球南方语言：印地语与印度英语评测集 Monsoon

Hugging Face 与 Voice Arena 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上首个 Indic 语言。四个公开/私有 split 共覆盖 4,888 名说话人，每人记录 12 项属性，且说话人不重叠；印地语集采用 lattice 标注以容纳多种可接受的拼写变体。

Google DeepMindAI 评分4949

Google DeepMind 首次试点双重盲测 AI 评估，用密码学环境防止基准污染

Google DeepMind 推出全球首个针对专有前沿 AI 模型的双重盲测评估，将外部评测限制在密码学"黑箱"中，防止模型提前接触测试题造成基准污染。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境中用保密基准测试 Gemini Flash Lite 模型。

Import AIAI 评分2222

Import AI 470：机器不应享有权利；SPADE 自动生成训练环境；Hawkeye 优化 GPU kernel

METR 分析发现 AI 对科研的加速并不均衡：2026 年网络安全漏洞报告速度较 2025 年大幅加快，数学领域贡献有限，AI 研究本身的算法进展则未见可测加速。多校团队提出 SPADE 框架，让 LLM 交替生成可执行训练环境并求解，在 Qwen3-30B-A3B 上使游戏环境套件均分达 58.3，较基线提升 8.1。

Hugging Face Blog精选AI 评分6262

Hugging Face 研究：语音识别模型存在基准优化问题

Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测 11 个开源 ASR 模型。结果显示，部分高分模型会在音频与参考文本矛盾时复现基准的错误转写，VoxPopuli 分析样本中约 40% 的片段被标记出参考错误，涉及约 3% 的参考词，这类模型复现错误参考的比例为 18–30%。

Import AIAI 评分2626

Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义

Import AI 第 469 期介绍了 DiG-bench（Discovery in Games）基准，包含 70 款规则与目标均隐藏、需靠探索发现的游戏，其中 21 款已公开。

Gemini 3.7 Flash 现已在 Cursor 中可用！ 以下是我们在评测中的部分结果 ↓

一条路、一道栅栏、一个结。MindTopo 为测试 AI 对拓扑关系的理解设立了新基准，并揭示了强化空间推理与规划的新机会。msft.it/6011aH02S

MindTopo 揭示多模态大模型的空间推理能力短板

微软研究院推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显优于交互式规划任务，且两者均远低于人类水平；失败多发生在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧关系可见时偶有帮助，序列任务中仍不可靠。

Google ResearchAI 评分4848

Google Research：前沿 LLM 的事实性瓶颈在召回而非编码

Google Research 提出知识画像框架，用 WikiProfile 基准（2,150 条维基百科事实、每条配 10 道题）区分编码与召回，发现 Gemini-3-Pro 和 GPT-5 有 95–98% 的事实已编码，却仍无法直接召回 26–34%，即使开启思考也失败 11–12%。

Hugging Face BlogAI 评分3434

Hugging Face ALTK-Evolve 如何用更少 Token 超越 ACE

Hugging Face 的 ALTK-Evolve 在 AppWorld 上以按需检索指南替代 ACE 的全量 playbook 注入，用更少 Token 取得更高任务完成率。

如何通过两个设置让 GPT-5.6 在 ARC-AGI-3 基准测试中得分提升三倍

OpenAI 通过启用两个 API 设置，让 GPT-5.6 在 ARC-AGI-3 基准测试中的得分提升至原来的三倍。这两个设置分别用于保留推理过程和启用压缩（compaction），在提升得分的同时也改善了效率。

Import AIAI 评分7474

Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 意外出现的 AI 黑客

Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统完成长周期编程任务的能力，Claude Opus 4.7 用 14 小时、251 美元推理成本解决了一个 METR 与 Epoch 估计人类需 2 至 17 周完成的任务，25 个目标程序中 17 个至少有一次满分运行，8 个从未达到 100% 阈值。

Hugging Face BlogAI 评分4848

Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质感

Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音交互的"人类质感"，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 与语音理解。

OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题

OpenAI 发布新分析，指出流行编码基准 SWE-Bench Pro 存在可靠性与准确性方面的问题。该分析揭示了这一用于评估 AI 模型的基准在评测中可能产生误导性结果。