跳到正文
原文
fchollet· @fchollet · X·· 13 小时前AI 评分57

Chollet:以科学为参照理解AI递归自我改进,难言智能爆炸

AI 导读

Chollet把科学建模为一个递归自我改进(RSI)系统,认为它是理解AI RSI的最佳参照。他指出科学投入(人力约每15年翻倍、R&D支出约每13年翻倍、算力约每2年翻倍)呈指数增长,但自工业革命以来科学影响的产出速率大致保持线性,1850-1900、1900-1950、1950-2000三段时期的成果密度相当。

正文 · AI 翻译

现实世界中充满了递归自我改进的系统,但其中一个尤其值得关注:科学——把它建模为一个系统(甚至可能是一个有目标、有资源的智能体)。如果你想真正理解 AI 的 RSI(递归自我改进),科学应该成为你的参照点。

科学是一个智能系统,而且它显然是递归自我改进的:

1. 科学发现会解锁新技术,进而帮助制造更好的实验工具。这是几乎所有领域进步的首要驱动力。

2. 它们会带来新的概念性进展(想法、理论),帮助解决更多问题。

3. 它们会提高社会的经济产出,从而有更多资源流入科学。

4. 它们会解锁更好、更快的工具(例如通过更好的芯片与网络技术获得更多算力)。

因此,科学的许多*投入*指标呈指数增长:

1. 人员规模(每约 15 年翻一番)

2. 全球研发支出(翻倍速度稍快,每约 13 年翻一番)

3. 论文和专利(严格来说这是人员规模的衡量指标)

4. 专门用于科学的算力(每约 2 年翻一番)

但科学进步是指数级的吗?从历史上看,自工业革命开始以来,科学影响力的随时间增速大致保持不变(也就是说科学进步是*线性*的)。1850-1900 年与 1900-1950 年或 1950-2000 年一样波澜壮阔。

1850–1900:进化论、细菌学说与无菌外科、热力学、电磁场方程、元素周期表、药物学、电力、电报与电话、内燃机、摩天大楼、机械化农业……

1900–1950:狭义与广义相对论、量子力学、核裂变与原子能、抗生素、遗传学理论、电子计算机、信息论、合成聚合物与塑料、晶体管、航空……

1950–2000:DNA、基因工程、集成电路、微处理器与个人计算、互联网、载人航天、登月、卫星通信与 GPS、粒子物理学标准模型……

按实际指标来看,比如预期寿命,自 1840 年以来以每年约 3 个月的惊人线性速度增长,进步是一条直线。这在那些影响力易于衡量的领域尤为明显,比如生物学、医学和农业。

我最早在 2012 年就这一现象及其成因撰文,此后多年来不断有研究证实了这一点。例子包括 Nielsen 和 Collison 2018 年的论文《Science Is Getting Less Bang for Our Buck》(科学的性价比越来越低),以及 2020 年的经济学论文《Are Ideas Getting Harder to Find?》(想法是否越来越难找?)。(事实上,我相信 Nielsen 的那篇论文源于六个月前他与我关于这个想法的一次对话)

简而言之,主要原因是研究会先解决影响最大、最容易的问题,而之后的每个问题要么更难,要么影响更小。而且是呈指数级地如此。提出信息论的那篇论文写起来并不太难(单作者!),但你很难再写出一篇在影响力上超越它的计算机科学论文。

这就是为什么科学作为一个系统,需要指数级的资源(投入)才能产生线性的影响力(产出)。它随时间推移变得指数级地越来越难。

如果你正在思考 AI 的 RSI(递归自我改进),这个问题值得深思。我完全相信 AI 的 RSI 已经在发生,并且未来还会加速。但我不认为这会导致所谓的"智能爆炸"——那将与我所知的关于智能的一切、以及关于递归自我改进系统的一切相矛盾。

来源:fchollet · x.com