rohanpaul_ai· @rohanpaul_ai · X·· 5 小时前AI 评分
山姆·奥尔特曼谈本地推理的取舍
山姆·奥尔特曼谈本地推理。 “从全球资源分配的角度看，让每个人——也就是把全球有限 DRAM 供应中的一大批——放在自己的电脑上，而且只有 5% 的时间在使用，这非常糟糕” 按每个 token 计算，数据中心轻松胜出。batch size 为 1 的本地模型，按任何利用率指标衡量都是浪费；而且，它也是整个技术栈中唯一没人能对你弃用的部分。
Sam Altman on local inference.
"from a global allocation perspective, it's quite terrible to have everybody, a bunch of the world's limited supply of DRAM sitting in their own computer and being used 5% of the time"
per token, the datacenter wins easily. A local model at batch size 1 is wasteful by any utilization metric, and it’s also the only part of the stack nobody can deprecate on you.
来源：rohanpaul_ai · x.com