SemiAnalysis_· @SemiAnalysis_ · X·· 1 天前AI 评分
SemiAnalysis 解读 TypeSafe AI 新模型 Jev 的定价与效率逻辑
SemiAnalysis 发文介绍 TypeSafe AI 新模型 Jev,它以 $0.03/M 输入 token、输出免费的价格和效率速度受到关注。Jev 与 LLM 的不同在于返回带校准概率的类型化答案,同时通过在预训练模型上用 Reinforcement Learning for Calibrated Decisions (RLCD) 后训练保留了 LLM 的世界知识。
Jev 是 TypeSafe AI 推出的新模型,因其价格和效率/速度而登上头条。它与 LLM 的不同之处在于,它返回的是带有校准概率的类型化答案。不过,它能够保留 LLM 的全部世界知识,因为它以一个完全预训练的模型为基础,再通过一种名为"校准决策强化学习"(RLCD)的新技术进行后训练,从而输出概率。
许多用户发帖称,他们通过从前沿模型切换到 Jev,削减了 AI 开支。虽然成本和时间的节省是真实的,但它们并不意味着某些人所认为的那样。这实际上并不会改变前沿实验室的支出,因为智能体工作流仍然需要长程推理。在每百万输入 token 0.03 美元、输出免费的情况下,他们实际上是在免费赠送输出 token,因为没有解码循环。这些节省衡量的是停止生成所需的成本,而非能力上的飞跃,因为 Jev 只是取代了此前被用作路由器的前沿模型。(3/3)
来源:SemiAnalysis_ · x.com