山姆·奥尔特曼谈本地推理的取舍

山姆·奥尔特曼谈本地推理。 “从全球资源分配的角度看，让每个人——也就是把全球有限 DRAM 供应中的一大批——放在自己的电脑上，而且只有 5% 的时间在使用，这非常糟糕” 按每个 token 计算，数据中心轻松胜出。batch size 为 1 的本地模型，按任何利用率指标衡量都是浪费；而且，它也是整个技术栈中唯一没人能对你弃用的部分。