Artificial Analysis 上线 HealthBench 与 HealthBench Professional 模型榜单

我们正在推出 HealthBench 和 HealthBench Professional 的排行榜，这两个基准测试用于评估 AI 模型在真实健康对话中的回答表现。

HealthBench 和 HealthBench Professional 是来自 @OpenAI 的基准测试，依据医生制定的评分标准，对模型在真实健康对话中的回答进行评分。

HealthBench 通过 5,000 段与普通用户和健康工作者的对话来测试模型，涵盖从紧急转诊到全球健康的七大主题，每条评分标准都归入五个维度之一：准确性、完整性、沟通质量、上下文理解和指令遵循。HealthBench Professional 是一个规模较小的 525 段对话集，与 HealthBench 不同的是，这些对话全部来自临床医生，涵盖问诊、写作和研究任务，并包含旨在挑战模型的对抗性及高难度对话。

我们同时报告原始得分（即获得的评分标准分值占比）和 OpenAI 报告的长度调整后得分。长度调整会对超过 2,000 字符的回答降分，对较短的回答加分。与 OpenAI 的原始实现一致，回答由 GPT-5.4 (low)（HealthBench Professional）和 GPT-4.1（HealthBench）进行评分。

HealthBench Professional 的关键结果：

➤ GPT-6 Astra 和 GPT-6.1 Sol 位居排行榜首位：GPT-6 Astra (max) 的长度调整后得分为 66.0%，与 GPT-6.1 Sol (max, 65.1%) 相当，并领先于 Claude Sonnet 5.5 (max with fallback, 63.0%)

➤ OpenAI 模型包揽了得分与单任务成本帕累托前沿：该帕累托前沿由 GPT-6 Luna (max, 61.9%, 单任务成本 $0.004)、GPT-6 Sol (max, 62.3%, $0.036)、GPT-6.1 Sol (max, 65.1%, $0.047) 以及 GPT-6 Astra (max, 66.0%, $0.27) 组成。GPT-6 Luna (max) 的得分仅比 GPT-6 Astra (max) 低 4 分，而成本却不到其 2%

➤ Claude Opus 5.5 和 Claude Fable 5.1 受到最严重的长度惩罚：两者平均每条回答约 5,900 字符，接近 2,000 字符门槛的 3 倍，调整后分数损失超过 11 分。Claude Opus 5.5 (max with fallback) 的原始得分最高（71.4%），但调整后跌至第六名（59.9%）。GPT-6 Sol (max) 是唯一平均长度低于 2,000 字符（约 1,600 字符）的模型，也是唯一得分在调整后上升的模型。

HealthBench 的关键结果：

➤ Claude Sonnet 5.5 位居 HealthBench 榜首：Claude Sonnet 5.5 (max with fallback) 的长度调整后得分为 62.1%，领先于 DeepSeek V4.1 Flash (max, 60.9%) 和 GPT-6.1 Sol (max, 58.5%)

➤ GPT-6 Luna、DeepSeek V4.1 Flash 和 Claude Sonnet 5.5 构成了得分与单任务成本的帕累托前沿：GPT-6 Luna (max) 得分为 54.6%，单任务成本为 $0.002；DeepSeek V4.1 Flash (max) 得分为 60.9%，单任务成本为 $0.005。Claude Sonnet 5.5 (max with fallback) 的平均单任务成本为 $0.08，比 DeepSeek V4.1 Flash 贵约 16 倍，但得分仅提高约 1 分

➤ 较短的回答牺牲了完整性以换取沟通质量：HealthBench 的每条评分项都归入五个维度之一。完整性检查回答是否包含了所有重要信息，而沟通质量则检查回答是否清晰、结构良好，且长度和细节程度恰到好处。GPT-6 Sol (max) 写出的回答最短（约 1,000 字符），其原始沟通质量得分最高（81%），但完整性得分最低（34%）。Claude Sonnet 5.5 (max with fallback) 在完整性方面领先（63%）