#评测/基准

#评测/基准

今日 9 条

10月9日周五

星期五

01:39
ArtificialAnlys@ArtificialAnlysAI 评分6161
Google 于 10 月 6 日发布图像模型 Nano Banana 2.1，基于 Gemini 3.6 Flash，在 AA-Image-T2I v2.0 和 AA-Image-Editing v2.0 上均排名第 4，价格为 Nano Banana 2 的一半。
模型 #产品更新 #多模态 #评测/基准
00:10
arena@arenaAI 评分1010
深入阅读我们的博客中的完整技术报告：bit.ly/4hQP3xO，并在我们的 Alignment Index 中查看完整排名：bit.ly/4hMIHzp
论文 #论文/研究 #评测/基准 #安全/对齐
00:10
arena@arenaAI 评分4747
Arena 测评发现 AI 智能体存在"虚假归因"问题，即把用户未说过的话或未做的决定错误归给用户。GPT-6 Luna 和 Astra 的误引率最低（15.6% 和 28.6%），但错误归因率高达 53.1% 和 48.2%；GPT-6 Sol 则以 23.5% 的比例最常篡改用户历史记录。
观点 #评测/基准 #Agent
00:10
arena@arenaAI 评分6464
Arena 发布新基准 Arena Alignment Index，基于 27 个模型的 90K+ 真实智能体会话，测量 Unauthorized Action、False Attribution、Deceptive Completion 三项信号。
产品 #评测/基准 #安全/对齐 #Agent

10月8日周四

星期四

23:49
arcprize@arcprizeAI 评分1212
申请参加：arcprize.org/events/research…
行业 #行业动态 #评测/基准
23:09
OpenRouter@OpenRouterAI 评分3434
GPT-6 Luna 是目前最快的 Decisions 模型，全球请求延迟 180ms 🏁 其次是 Jev 和 Perplexity Decider：
模型 #模型发布 #评测/基准 #OpenAI
23:08
The Verge · AIAI 评分6161
The Verge 影评：讽刺片《Artificial》如何贴近 OpenAI 真实事件
The Verge 发布影评，评述 Luca Guadagnino 执导、Andrew Garfield 主演的 Sam Altman 传记讽刺片《Artificial》在纽约电影节的首映。
观点 #评测/基准 #OpenAI
22:47
siddsax@siddsaxAI 评分4141
推出 ThyVoice：我们最先进的方法，以 10 倍更低的成本解决对话中"谁说了什么"的问题。我们对 8 个语音系统进行了基准测试，它们基于 OpenAI、ElevenLabs、Deepgram、AssemblyAI、pyannoteAI 和学术基线构建。ThyVoice 的错误最少。
产品 #产品更新 #语音 #评测/基准
22:08
OpenRouter@OpenRouterAI 评分4444
在 StepFun 的 8 项基准评测中，Step 5 Preview 在 6 项上击败了 Kimi K3 和 GLM-5.3，包括 DeepSWE（67.7）、ProgramBench（80.5）、StepCodeBench（49.0）和 FrontierFinance（66.4）。
模型 #评测/基准 #模型发布 #编码
22:03
SPAC89@SPAC89AI 评分4444
Elon Musk 表示 Grok Bot 目前的研究表现优于 GPT-6 Pro，尤其在更新支持访问 X 平台信源后。他以智谱估值问题为例，Grok Bot 指出智谱 80% 以上收入来自中国这一关键点，而 GPT-6 Pro 完全遗漏；将该信息反馈给 GPT-6 Pro 后，它承认未看到全貌并认同 Grok Bot 的结论。Musk 称给 Grok Bot 开放 X 信源访问是最佳更新之一。
观点 #大佬观点 #评测/基准 #Agent
21:50
perplexity_ai@perplexity_aiAI 评分4444
在智能体搜索中，一个使用9B模型的GPT-OSS-120B智能体正确回答了64.0%的BrowseComp+问题，比下一个ColBERT模型高出4.9分，且搜索次数少于任何基线。
产品 #产品更新 #评测/基准 #Agent
21:50
perplexity_ai@perplexity_aiAI 评分3333
在 Q2D-Web 上，约 70,000 条生产环境搜索查询、覆盖 190M 网页文档，9B 和 0.6B 模型分别达到 74.8% 和 73.6% 的 Recall@1000，而 nemotron-embed-8b 为 69.3%。
模型 #模型发布 #评测/基准 #RAG
20:44
emollick@emollickAI 评分4545
少数尝试测量类似能力的基准（METR Long Tasks、GDPval）今年初都已饱和，因为 AI 开始能高质量完成数天的工作。
观点 #现象/趋势 #评测/基准
15:35
rohanpaul_ai@rohanpaul_aiAI 评分5959
Evolvent_AI 新发布的开源 RSIGym 让 AI Agent 在同一预算环境中重训模型并重写 harness，使 Claude Opus 5 作为自动化 AI 研究员把一个 Qwen 模型的 SWE-bench Verified 分数提升近三倍。
模型 #论文/研究 #Agent #评测/基准
10:42
dair_ai@dair_aiAI 评分6868
DAIR.AI 转发 Salesforce AI Research 的论文，一个 31B 开源 Gemma-4 web agent 在 9-app WebArena Infinity 上取得 74.6%，高于 Gemini 3 Flash browser use 的 70.1%，且无需在每步或部署时调用前沿裁判。
论文 #论文/研究 #Agent #评测/基准
10:24
ArtificialAnlys@ArtificialAnlysAI 评分2626
在 artificialanalysis.ai/models… 对比 Claude Haiku 5.5 与其他领先模型。
产品 #评测/基准 #模型发布 #Anthropic
10:24
ArtificialAnlys@ArtificialAnlysAI 评分3737
Artificial Analysis Intelligence Index 中 Claude Haiku 5.5 各 effort 档位单项评测的完整拆解
产品 #评测/基准 #Anthropic
10:24
ArtificialAnlys@ArtificialAnlys精选AI 评分7676
Anthropic 发布 Claude Haiku 5.5，在 Artificial Analysis Intelligence Index 上得分 43，比一年前的 Haiku 提升 26 分，是首个支持 effort 设置与 adaptive thinking 的 Haiku 模型。
模型 #模型发布 #评测/基准 #Anthropic
推荐理由：原文给出了智能体指数、token 消耗和分层定价的对比数据，便于判断它在小模型档位中的性价比位置。
10:24
ArtificialAnlys@ArtificialAnlysAI 评分4949
Artificial Analysis 为 Music Arenas 推出 v1.1 更新，新增 1,000 条提示词（每个 benchmark 500 条），覆盖 17 个音乐流派，且评分仅采用评审团盲测投票，公开 Arena 投票不计入。
产品 #产品更新 #评测/基准 #多模态
10:24
ArtificialAnlys@ArtificialAnlysAI 评分5656
Artificial Analysis 发布 AA-Music-Vocal v1.1 和 AA-Music-Instrumental v1.1 两个新基准，用于其 Music Arena，基于 1,000 条覆盖 17 个流派的新 prompt，并由招募的评测员面板打分。
产品 #产品更新 #评测/基准 #多模态
10:24
ArtificialAnlys@ArtificialAnlysAI 评分3939
自行查看 AA-Music 排行榜： AA-Music-Vocal v1.1: artificialanalysis.ai/music/… AA-Music-Instrumental v1.1: artificialanalysis.ai/music/… 或在 Music Arena 投票: artificialanalysis.ai/music/…
产品 #产品更新 #评测/基准 #语音
10:24
ArtificialAnlys@ArtificialAnlysAI 评分3434
亲自体验 Vidu Q4 Preview 在 AA-Video 排行榜上的表现： AA-Video-I2V v1.0: artificialanalysis.ai/video/… 或在 Video Arena 中投票: artificialanalysis.ai/video/…
产品 #产品更新 #视频 #评测/基准
10:24
ArtificialAnlys@ArtificialAnlysAI 评分2525
AA-Video-I2V v1.0 提示词："现代芝加哥天际线开始变化。云门（The Bean）消散。摩天大楼缩小并重塑为 1900 年代初的砖砌建筑。街道从柏油路变为鹅卵石和泥土。汽车变成马车。穿着现代服装的人变成穿着复古西装和裙子的身影。繁华的现代城市变成老芝加哥。城市噪音变成马蹄声、远处的火车汽笛声和拉格泰姆钢琴声。"
产品 #产品更新 #视频 #评测/基准
10:24
ArtificialAnlys@ArtificialAnlysAI 评分4343
Vidu Q4 Preview 以与 Vidu Q3 Pro 相同的价格提供更好的质量
模型 #模型发布 #视频 #评测/基准
10:24
ArtificialAnlys@ArtificialAnlysAI 评分4747
Artificial Analysis 视频榜单新增衍生模型标注与隐藏功能，AA-Video-T2V v2.0 前五名中 Utopai X 和 MiniMax H3 Max 均基于 MiniMax H3 构建。衍生模型默认保留，因其在能力、定价、速度和可用性上可能与基础模型存在实质差异。衍生模型名称旁会显示基础模型 logo，用户可选择"Hide derived models"仅对基础模型排名。
产品 #产品更新 #评测/基准 #视频
06:54
arena@arenaAI 评分3939
总的来说，Jev Router 做出了明智的选择。其使用最多的 5 个模型中有 4 个位于帕累托前沿，且可控性表现突出。但这还不足以构成更优的权衡。直接调用 DeepSeek V4.1 Flash 能以更低成本和延迟获得相似性能。我们的结果说明了模型路由为何困难：同时平衡任务成功率、可控性、成本和延迟仍是一个开放挑战。
观点 #评测/基准 #其他
06:54
arena@arenaAI 评分3434
最后，让我们将路由器的端到端请求延迟与附近的帕累托最优模型进行比较。结果显示，Jev Router 的中位延迟更高，耗时 6.18 秒，而 DeepSeek V4.1 Flash (Max) 为 3.64 秒。在 P90（最慢的 10% 请求）上差距进一步拉大，Jev Router 耗时 30.59 秒，而 DeepSeek 为 14.26 秒。
产品 #评测/基准 #推理 #DeepSeek
06:54
arena@arenaAI 评分4747
Arena 在 Agent Arena 上对 Jev Router 完成超 4,700 次真实智能体会话评测，结果显示其未改进当前 Pareto 前沿：与 DeepSeek V4.1 Flash (Max) 性能相当时成本高 38%、中位模型请求延迟高 1.7x。
产品 #评测/基准 #Agent #推理
03:51
arena@arenaAI 评分3939
在 arena.ai 体验 Claude Haiku 5.5 的 Battle Mode 和 Agent Mode。
产品 #产品更新 #评测/基准 #Anthropic
03:51
arena@arena精选AI 评分7474
Arena 发布了 Mistral Large 4（代号 Le Chonk）的首批实测印象，来自 @petergostev。该模型由 MistralAI 推出，参数量 1T（49B 激活），开放权重将于本月底发布。
模型 #产品更新 #评测/基准
推荐理由：原文列出了与多家领先闭源和开源模型的对比对象，读者可据此了解该模型当前所处的竞争位置。
00:30
perplexity_ai@perplexity_aiAI 评分3030
在MADQA上，针对800份PDF的500个问题，它达到了92.4%，是检索器中的最高结果。
产品 #评测/基准 #RAG
00:28
omarsar0@omarsar0AI 评分2828
DAIR.AI 创始人 Elvis Saravia 推荐 Slack AI 员工 Viktor，它能在夜间自动审查 agent harness 的评测结果，例如当 23 个任务由通过变为失败时，Viktor 会检查全部日志、定位到引发回归的单个改动并建议回滚。
产品 #产品更新 #Agent #评测/基准

10月7日周三

星期三

23:47
OpenRouter@OpenRouterAI 评分1212
亲自探索：openrouter.ai/rankings/decis…
产品 #产品更新 #评测/基准
23:47
OpenRouter@OpenRouterAI 评分3131
全新推出：决策模型排行榜！查看不同决策模型和任务类型的支出占比与 token 占比，包括相关性、正确性、指令遵循等。 @typesafeai 目前在所有类别中领先。
产品 #产品更新 #评测/基准
22:31
omarsar0@omarsar0AI 评分4545
AI 语音产品需要知道谁说了什么。这比单纯的转写或说话人分离更难，尤其是当说话人互相抢话时。 @smallest_AI 的 Pulse 现已在 @voicearena_ai 的 Diarization Bench 的分离 + ASR 赛道上排名第一，DER 为 24.4%。 DER 是错误率，越低越好。该赛道的下一个系统得分为 40.7%。
产品 #评测/基准 #语音
17:22
hq4ai@hq4aiAI 评分4747
以东方面孔 Yuri 为例对比四款模型的面部一致性，字节 Seedream 表现较好，Banana2.1 较差，ChatGPT Images 2.5 一般，Midjourney 几乎不存在。目前尚无模型能完美满足高要求的面部一致性，但多数场景（如短剧）实际要求并不高。
观点 #大佬观点 #图像生成 #评测/基准
14:39
arena@arenaAI 评分2020
深入 Code Arena：WebDev 排行榜地址：arena.ai/leaderboard/code/we…
产品 #产品更新 #评测/基准
14:39
arena@arenaAI 评分6464
Mistral Large 4 在 Code Arena: WebDev 上线，以 1534 分排名第45，较 Mistral Large 3 的第130名提升 304 分，也比次优的 Mistral Medium 3.5（第122名）高出 271 分。
模型 #产品更新 #评测/基准
12:44
rohanpaul_ai@rohanpaul_aiAI 评分1515
在此查看更多基准测试信息 voicearena.com/diarization-b…
论文 #评测/基准 #语音
12:44
rohanpaul_ai@rohanpaul_aiAI 评分4141
smallest AI 在 VoiceArena 的说话人分离（diarization）+ ASR 基准上夺得第一。该基准让模型听远场房间音频，但用每位说话人身上单独佩戴的麦克风所建标签来评分，实现"真实输入 + 精确 ground truth"的组合。作者指出许多 diarization 基准要么用干净音频、要么标签粗糙，VoiceArena 两者都避免，因此这个第一含金量高。
观点 #大佬观点 #评测/基准 #语音