跳到正文
原文
ArtificialAnlys· @ArtificialAnlys · X·· 2 小时前AI 评分59

Artificial Analysis 上线各供应商缓存命中率与 Cost per Task 数据

AI 导读

Artificial Analysis 宣布上线各模型端点的缓存命中率与按供应商的 Cost per Task 数据:GLM-5.3 (max) 的 Cost per Task 在不同供应商间相差约 9 倍,从 Makora 的 $0.92 到 Nebius 的 $8.68,差距主要来自缓存输入 token 定价。

正文 · AI 翻译

Artificial Analysis 现已上线各提供商的缓存命中率与单任务成本:GLM-5.3 (max) 的单任务成本在不同提供商之间相差约 9 倍,这主要由缓存命中率和 token 定价共同驱动。

智能体工作负载每一轮都会重新发送完整的对话历史,因此大部分输入 token 都可以缓存,而缓存定价和缓存命中率是造成单任务成本差距的主要原因。我们已经在使用实测的缓存命中率来计算单任务成本,现在也将其对每个我们追踪的模型端点公开。

新增内容:

➤ 所有一方和第三方端点现在都可以查看缓存命中率,测量方式是运行多轮智能体编程任务,并从各提供商的用量响应中读取缓存 token。缓存命中率是指可缓存输入 token 中由缓存提供服务的占比。

➤ 开放权重模型现在可以按提供商查看单任务成本,计算方式是根据各提供商的输入、输出、缓存命中和缓存写入价格,套用其实测缓存命中率得出。为了在同一模型的不同提供商之间进行标准化,我们使用该模型 Intelligence Index 运行中相同的输入、输出和可缓存 token 数量。

关键要点:

➤ GLM-5.3 (max) 的单任务成本在各提供商之间跨度约 9 倍,从 Makora 的 $0.92 到 Nebius 的 $8.68。两者的可缓存输入几乎全部由缓存提供(分别为 98% 和 100%),且输出价格相同(每 1M token $4.40),因此差距来自输入定价:Makora 的缓存输入 token 每 1M 收费 $0.10,而 Nebius 的共享无服务器端点不提供缓存输入折扣,所有输入均按全额 $1.40 计费。

➤ 在 21 个提供商(25 个端点)中,缓存命中率范围从 41% 到 100%。15 个端点达到 98% 或以上,其中 8 个达到 100%:Modal、DeepInfra、Parasail、Together AI、DigitalOcean、Nebius、Novita 以及 Z AI 的一方 API。Multiverse Computing 最低,为 41%,其次是 Bitdeer,为 50%。

来源:ArtificialAnlys · x.com