Karpathy：对 LLM 能力的共识差距正在扩大

把这条四月的推文翻出来重发，因为这种对大模型能力的共识鸿沟正在*不断扩大*。现在与其说是「两拨人各说各话」，不如说是一个尖锐的漏斗。

- 粗略估算，大约有 60 亿人（约占人口的 75%）几乎完全没有接触过大语言模型。

- 大约 10-20 亿人（约 20%）是免费版 ChatGPT 类产品的休闲、低频用户。这群人看到的是些呆头呆脑的聊天机器人，把它们当作更好用的 Google 搜索、写作助手之类的工具。也许有个智能体试着帮你订张机票。我有些非技术圈的朋友（我认为这很合理）说他们根本用不上。甚至许多数学和编程之外的专业人士也处于这一层。比如高管和其他很多职能岗位的人，大量时间都花在与人沟通上，所以尽管他们在理智上明白正在发生什么，但那终究是二手信息，有点抽象。

- 现在我们来到前沿级大模型在数学和编程领域的专业应用。大约有 2000 万人（0.2%）亲眼看到，过去需要他们花上几周甚至几个月的大型复杂项目，现在只需一个提示就能由智能体完成。开发应用、复制应用、翻译应用、从二进制文件反编译应用……这一切发生得非常快、就在最近——不到一年前，我还在手动写代码，把记住的计算机代码命令一个字符一个字符地敲进代码编辑器，偶尔按一下 Tab 键自动补全一小段代码。

- 最后是那大约 5000 人（约 0.00006%），他们能在内部接触到前沿级系统。外部世界只看到了预览版。而内部的景象是：成千上万的智能体像蜂群一样，围绕软件超级项目协作数周：挖掘零日漏洞、以机器速度发起网络攻防、发现新的科学成果、推进数学前沿。这些工作若由业内顶尖专业人士来做，需要耗费数年时间。与此同时，人类的审查和理解能力开始跟不上了。例如，几个月前 OpenAI-HF 事件的「考古」工作仍需人类参与。数学家们可能还要花上一段时间来研读那 722 篇前沿数学手稿。

这个漏斗由多种因素共同驱动：

1. 影响力随雄心、问题规模和时间跨度而放大。一个用一段话就能回答的问题几乎不会给系统带来压力。你需要储备大量你真正关心的、宏大而困难的问题。这一方面驱动了漏斗的消费者/专业用户维度。

2. 系统的参差不齐（这一点我在别处写过很多）。能力在数字化、可验证且具有经济价值的领域达到峰值。这是因为大语言模型的能力源于在精心策划的、按收入潜力驱动的环境混合上，对可验证奖励进行强化学习。这一方面主要驱动了漏斗的领域（例如数学与代码）维度。

3. 获取途径。免费层、付费层、内部使用。

所以这就是当下的怪异之处。普通大众大多还没有与这些系统交互过。当他们交互时，看到的只是一个呆萌的聊天机器人。大多数专业人士仍然只看到适度的提升。而一小部分专业人士正在体验曲线转为垂直时的眩晕感。而这一切都在同时发生。