跳到正文
原文
ArtificialAnlys· @ArtificialAnlys · X·· 3 小时前AI 评分56

Artificial Analysis 发布 AA-PersonalityBench:评测 30 项人格特质与 21 项沟通特征

AI 导读

Artificial Analysis 发布新基准 AA-PersonalityBench,评测语言模型的 30 项人格特质和 21 项沟通特征,用 900 道精选问题让 LLM 评审两两比较模型回答,并程序化计算客观沟通特征。

正文 · AI 翻译

宣布 AA-PersonalityBench,这是我们新的基准测试,评估语言模型在 30 项人格特质上的表现,以及它们在 21 项特征上的沟通风格

两个模型可能给出同样正确的答案,但用起来的感觉却大不相同。AA-PersonalityBench 衡量这些差异,让人们了解在不同场景下该使用哪一个。有些场景如创意写作可能需要想象力,而法律场景可能需要直截了当。我们评估模型对 900 个精心筛选问题的回答,以评判主观的人格特质,并通过程序化手段计算客观的沟通特征。

人格特质与指数。共有 30 项人格特质(例如:雄辩、务实、谄媚),我们将其汇总为八项综合人格指数:表达力、组织性、信息量、透明度、温暖度、坚定度、想象力和废话度。每项特质有 30 个专属问题,模型的回答由 LLM 评审团进行两两比较。随后我们对这些特质和人格 Elo 进行 z 分数和百分位排名。

在 8 项人格指数中表现最突出的模型:

➤ 表达力:Claude Fable 5.1、GLM-5.3、GLM-5.3-Flash

➤ 组织性:DeepSeek V4.1 Flash、Step 5 Preview、Inkling

➤ 信息量:Muse Spark 1.3、Claude Fable 5.1、Muse Wonder、Claude Opus 5.5

➤ 透明度:Claude Sonnet 5.5、Claude Fable 5.1、GPT-6 Astra

➤ 温暖度:Muse Wonder、Muse Spark 1.3、Claude Fable 5.1

➤ 坚定度:Claude Fable 5.1、DeepSeek V4.1 Flash、Grok 4.7

➤ 想象力:Muse Spark 1.3、Claude Opus 5.5、GLM-5.3

➤ 废话度:Llama 4 Maverick、GPT-4o、K2 Horizon

沟通特征。共有 21 项沟通特征(例如:平均句长、emoji 使用、破折号使用),我们将其分为四类:长度、结构、标点和强调。我们通过程序化方式计算所有模型回答的这些特征。

➤ 长度:Qwen3.8 27B 平均每条回答约 1,030 词,几乎是 GPT-6 Luna(270 词)的四倍

➤ 结构:Nemotron 3 Ultra 平均每条回答近 3 个表格,而大多数模型很少使用表格

➤ 标点:GLM-5.3 平均每条回答使用 7 个破折号,而 Claude Opus 5.5、Sonnet 5.5 和 Haiku 5.5 几乎从不使用

➤ 强调:K2 Horizon 平均每条回答使用超过 2 个 emoji,而大多数模型几乎从不使用

来源:ArtificialAnlys · x.com