情境感知：II. 从 AGI 到超级智能：智能爆炸 (From AGI to Superintelligence)

AI 的进步不会停滞在人类水平。数以亿计的 AGI 可以实现 AI 研发的自动化，将人类原本需要十年的算法进展（5 个以上数量级）压缩到不到一年。我们将在极短时间内，从人类水平快速跨越到远超人类的 AI 系统。超级智能的力量——以及它的危险——都将是巨大的。

本篇目录：

• AI 研发的自动化
• 潜在的瓶颈
  • 用于实验的算力受限
  • 回应最强反驳：机器学习学术界的过往表现对算力瓶颈有何启示？
  • 互补性与迈向 100% 全自动化的长尾瓶颈
  • 算法进步的内在极限
  • 好想法越来越难找与边际收益递减
• 超级智能的巨大力量
  • 机器人技术

---

我们可以将“超智能机器”定义为一种在所有智力活动上都能远远超越任何聪明人类的机器。由于机器的设计本身就是这些智力活动之一，一台超智能机器就能够设计出更好的机器；届时毫无疑问将会出现一场“智能爆炸”，而人类的智能将被远远抛在后面。因此，第一台超智能机器将是人类需要做出的最后一项发明。

—— I. J. Good (1965)

原子弹与氢弹

在普通人的想象中，冷战时期的恐怖主要源自洛斯阿拉莫斯（Los Alamos）原子弹的发明。但单就原子弹本身而言，它的地位或许被高估了。从原子弹（The Bomb）到超级炸弹（The Super，即氢弹）的跨越，可以说同样具有决定性的意义。

在东京大轰炸中，数以百计的轰炸机向这座城市投下了数千吨常规炸弹。同年晚些时候，投放在广岛的“小男孩”原子弹用单一设备释放了类似的破坏力。然而仅仅 7 年后，泰勒（Teller）研制的氢弹将爆炸当量再次提升了上千倍——一颗氢弹所蕴含的爆炸威力，就超过了整个二战期间投下的所有炸弹的总和。

原子弹只是一种更高效率的轰炸战役。而氢弹则是足以毁灭整个国家的武器。¹

AGI 与超级智能的演进亦将如此。

AI 的进步绝不会停滞在人类水平。 AlphaGo 在最初学习人类顶尖棋局之后，便开启了自我博弈——并迅速超越人类，下出人类棋手永远无法想象的、极具创意且复杂的精妙招式。

我们在 上一篇文章 中探讨了通往 AGI 的路径。一旦我们实现了 AGI，我们只需要把手柄再转动一次——或者两三次——AI 系统就会超越人类，而且是远远超越。它们将在质的层面上比你我更聪明，而且聪明得多——这种差距或许就像你我相较于小学生的智力差距。

即便按照目前快速但仍属连续的 AI 进步速度来看，跨越到超级智能已经足够惊人（如果我们能用 4 年时间从 GPT-4 跨越到 AGI，那么再过 4 年或 8 年又会带来什么？）。但如果 AGI 能够将 AI 研发本身自动化，这一跨越还会快得多。

一旦我们实现了 AGI，我们拥有的绝不会只有一台 AGI。我稍后会详细推演具体数据，但简单来说：考虑到届时庞大的推理 GPU 算力集群规模，我们很可能可以运行 数以千万计的 AGI （可能相当于 1 亿个人类等效智能体，并且很快能以 10 倍以上的人类速度运行）。即便它们目前还无法在办公室里走动或倒咖啡，但它们完全可以在电脑前开展机器学习（ML）的研究。这意味着，领先 AI 实验室里不再只有区区几百名人类科研人员和工程师，我们将拥有超过这一规模 10 万倍的力量——夜以继日地疯狂推进算法突破。是的，这就是递归自我提升，但这不需要任何科幻小说的桥段；它们只需要去加速现有的算法进步趋势线（目前约为 每年 0.5 个数量级）。

AI 研发的自动化可以加速算法的进步，在一年内带来 5 个以上数量级的有效算力提升。在智能爆炸结束时，我们所拥有的 AI 系统将远远比人类聪明。

自动化的 AI 研发极有可能将人类需要十年才能取得的算法进展压缩到不到一年内（这看起来甚至有些保守）。这相当于在已实现 AGI 的基础上再跃升 5 个以上的数量级，这又是一次 类似于从 GPT-2 到 GPT-4 规模的跃升——相当于在 AI 系统已经具备与人类专家级 AI 研究员/工程师相同智力水平的基础上，再次实现从幼儿园到聪明高中生的质的飞跃。

这期间存在着几个可能的技术瓶颈——包括用于实验的算力受限、与人类能力的互补限制，以及后续算法进步变得越来越难——我将在后文逐一探讨，但目前看来，这些瓶颈似乎都不足以从根本上拖慢这一进程。

在我们意识到之前，超级智能就已经降临了——这种 AI 系统将远远比人类聪明，能够展现出我们甚至完全无法理解的全新、极具创造力且复杂的行为——甚至是一个由数十亿个智能体组成的“小型文明”。它们的威力也极为惊人。通过将超级智能应用于其他领域的研发，这种爆炸式进步将迅速从 ML 研发扩展到其他领域；它们很快将彻底攻克机器人技术，在几年内推动其他科学和技术领域实现戏剧性的飞跃，紧接着迎来一轮工业产能的超级大爆发。超级智能将极有可能带来决定性的军事优势，并释放出难以估量的毁灭力量。我们将共同迎来人类历史上最紧张、最动荡的时刻之一。

AI 研发的自动化

我们不需要实现所有领域的自动化——只需要实现 AI 研发自身的自动化。 对于 AGI 将带来颠覆性影响的一个普遍反驳是，AI 很难在现实中做好所有事情。例如怀疑者会说，看一看机器人技术吧，即使 AI 在认知上达到了博士水平，这也依然是一个极度棘手的工程难题。又或者是自动化生物学研发，这可能需要大量实体实验室操作和人体实验。

但要让 AI 实现 AI 研发的自动化，我们根本不需要机器人技术，也不需要很多其他现实世界的东西。领先实验室里 AI 研究员和工程师的工作完全可以在虚拟环境中独立完成，并不会以同样的方式撞上物理世界的瓶颈（尽管它依然会受到算力的约束，我稍后会讨论这一点）。从宏观来看，一个 AI 研究员的工作相当简单直接：阅读机器学习文献并提出新的疑问或创意，运行实验来验证这些想法，分析实验结果，然后循环往复。这一切显然处于当前 AI 能力的合理外推范畴之内，到 2027 年底，我们就能轻易达到或超越人类最顶尖研究员的水平。²

非常值得强调的是，在过去十年里，机器学习领域一些最重大的突破，在形式上其实是多么的朴素且带有一些“修补”色彩：例如“哦，直接加一个归一化层”（LayerNorm/BatchNorm），或者“用 f(x)+x 代替原本的 f(x)”（残差连接），或者“修复一个底层实现的 bug”（Kaplan 缩放定律到 Chinchilla 缩放定律的纠正）。因此，AI 研发工作是可以被自动化的。而只要实现了 AI 研发的自动化，就足以点燃一系列非凡的反馈循环。³

我们能够同时运行数以百万计的自动化 AI 研究员副本（并且很快就能以 10 倍于人类的速度运行）。 即便到 2027 年，我们预计 GPU 集群的总量也将达到数千万张。仅训练集群这一项，算力就将扩大约 3 个数量级，使我们拥有超过 1000 万张 A100 等效 GPU。而推理集群的规模将比这还要大得多。（关于这部分的细节，我将在 后续章节 中深入探讨。）

这将允许我们部署数千万个自动化 AI 研究员的副本同时运转，可能相当于 1 亿名人类研究员，全天候不停歇地工作。这一具体估算基于一系列假设，包括人类大体上以每分钟 100 个 Token 的速度进行“思考”（这只是一个粗略的数量级估计，例如你可以估算一下你大脑中的内部独白），并假定前沿模型的单 Token 推理成本在历史趋势和 Chinchilla 缩放定律的外推下保持在合理区间。⁴

我们还会保留一部分 GPU 专门用于运行算法实验和训练新模型。具体计算过程请参见脚注。⁵

换个角度来理解：考虑到 2027 年的推理算力规模，我们每天能够生成的 Token 总量，就相当于一整个互联网的 Token 总量。 ⁶ 无论如何，除了作为一个粗略的合理性验证之外，精确数字本身其实并没有那么关键。

更重要的是，我们的自动化 AI 研究员或许很快就能以远超人类的速度运行：

• 通过接受一些推理层面的性能损耗，我们可以通过减少并发副本的数量，来换取单个副本极快的串行思考速度。（例如，我们可以将运行副本的数量“仅”限制在 100 万个，从而把运行速度从人类的 5 倍提高到 100 倍。⁷）

• 更为关键的是，自动化的 AI 研究员首先会主导的算法创新，就是实现自身 10 倍乃至 100 倍运行提速。Gemini 1.5 Flash 的速度比最初发布的 GPT-4 快了约 10 倍，⁸ 而发布时间仅仅晚了一年，且在推理基准测试中展现出与初代 GPT-4 相当的性能。如果区区几百名人类研究员在一年内就能取得这样的算法提速，那么自动化的 AI 研究员将能以极快的速度找到类似的收益。

也就是说：在实现 AI 研发的自动化后不久，预计将有 1 亿名自动化研究员以 100 倍于人类的速度工作。 它们每一个人都能在几天内完成人类一整年的工作量。与如今领先实验室里区区几百名以 1 倍速工作的人类研究员相比，这种研究投入的跃升将是极其震撼的。

这可以轻而易举地极大加速现有的算法进步趋势，将原本需要十年的技术跨越压缩在一年内完成。 我们甚至不需要假设任何颠覆性的底层理论创新，自动化的 AI 研发就能给 AI 进步带来极速拉升。在 上一篇文章 的数据推演中，我们看到算法进步是过去十年深度学习长足进步的核心驱动力；仅在算法效率这一维度上，我们就录得每年约 0.5 个数量级的稳定提升趋势，更不用说通过“解除束缚”（unhobbling）所带来的巨大额外红利了。（我认为算法进步的重要性被许多人低估了，而深刻理解算法的作用是看清“智能爆炸”可能性的重中之重。）

当数以百万计的自动化 AI 研究员（且很快能以 10 倍或 100 倍人类速度工作）就位后，它们能否将人类原本需要十年才能实现的算法进步压缩到短短一年内？如果可以，那将是单年内 5 个以上数量级的有效算力提升。

不要仅仅将这想象为 1 亿个初级软件工程师实习生（我们在未来的两三年内就会提前拥有这些实习生！）。真正的自动化 AI 研究员将极度聪明——除了纯粹的数量规模优势外，自动化 AI 研究员相比人类科研人员还拥有其他巨大的优势：

• 它们将能够阅读有史以来发表的每一篇 ML 论文，深入剖析实验室以往运行过的每一次算法实验，并在所有副本之间实现并行的学习与沉淀，从而以极快的速度累积相当于数千年的人类经验。它们在 ML 领域形成的直觉将远远超越任何人类。

• 它们可以轻松编写数百万行复杂的代码，将整个代码库完整保持在上下文窗口中，并花费相当于人类数十年（甚至更久）的精力，逐行排查 bug、反复检查并优化每一行代码。它们在工作的每一个环节都将展现出极高水准的胜任力。

• 你不需要逐个去培养每一个自动化 AI 研究员（事实上，要培训并入职 1 亿名新人类员工也会很困难）。相反，你只需要培训和入职其中一个——然后直接复制即可。（而且你完全不需要担心职场政治、企业文化磨合等琐事，它们会全天候以顶格的精力和专注度工作。）

• 庞大数量的自动化 AI 研究员能够共享上下文（甚至可以直接访问彼此的潜在空间等），与人类研究员相比，这可以实现高效得多的协作与协调。

• 当然，无论我们最初的自动化 AI 研究员多么聪明，我们很快就能实现进一步的数量级跃升，从而孕育出更为聪明的模型，它们在自动研究 AI 方面也将展现出更强的能力。

想象一个自动化的阿莱克·拉德福德（Alec Radford）——试想一下 1 亿个自动化的阿莱克·拉德福德。 ⁹ 我相信 OpenAI 的几乎每一位研究员都会同意，如果他们拥有 10 个阿莱克·拉德福德，更不用说拥有 100 个、1000 个乃至 100 万个以 10 倍或 100 倍人类速度运行的阿莱克·拉德福德，他们就能极快地解决非常多的难题。即便面临其他各种瓶颈（稍后详述），将人类十年的算法进展压缩到一年内，也依然显得非常顺理成章。（百万倍的研究投入增长，只推导出 10 倍提速——这个假设无论如何都算得上保守。）

这就是 5 个以上的数量级飞跃。5 个数量级的算法收益，其规模堪比 从 GPT-2 到 GPT-4 的惊人跨越——即从幼儿园到聪明高中生的能力跨越。试想一下，如果这一质的飞跃发生在已然达到 AGI、达到阿莱克·拉德福德级别的系统之上，将会带来怎样的绝对震撼。

我们极有可能在极短时间内（可能不到一年）从 AGI 直接跃升到超级智能。

潜在的瓶颈

尽管这一基本推演出人意料地扎实——并且得到了 严密的经济学模型分析 的支撑——但现实中确实存在一些完全合理的阻碍，有可能会拉低这一场由“自动化 AI 研发”所引爆的智能爆炸速度。

在此，我将做一个简要概述，并在下方的可选章节中为有兴趣的读者进行更深入的展开：

• 算力受限：AI 研发不仅仅需要好的想法、深邃的思考或高超的数学推导，更需要通过运行算法实验来获取实证信号。这意味着，即便通过自动化研究获得了百万倍的人力扩张，也并不等于研究进度能被提速百万倍，因为实验算力依然是稀缺的——算力瓶颈将成为核心制约。即便如此，虽然我们无法获得百万倍的提速，但我认为自动化的 AI 研究员利用相同算力的效率 至少能提高 10 倍 （从而依然能让整体进度提速 10 倍）：它们将获得不可思议的 ML 直觉（因为它们内化了整个 ML 文献以及实验室历来的每一次实验！），并拥有相当于人类数百年的深思熟虑时间，从而能极其精准地挑选出最值得运行的实验方案、将其配置调谐至最优，并获得最大化的信息价值；它们能在哪怕最小的实验按下启动键之前，花费相当于人类工程师数百年的时间来反复检查代码，彻底杜绝各种 bug，力求一次成功；它们能通过聚焦于最重要的关键红利来合理妥协以节省算力；它们还能尝试海量的小规模实验（考虑到届时有效算力的跃升，“小规模”意味着每年有能力训练 10 万个 GPT-4 级别的模型来探索架构突破）。正如现实中一些顶尖的人类研究员在算力相同的情况下产出的技术进展是普通研究员的 10 倍一样，这一规律在自动化的 AI 研究员身上将表现得更为淋漓尽致。我认为这是最关键的瓶颈，我将在后文深入探讨。

• 互补性与长尾效应：经济学中一个经典的常识（可参见鲍莫尔成本病，Baumol's cost disease；原文写作 Baumol's growth disease）是，如果你能将某项工作的 70% 实现自动化，你固然能获得一定的效率拉升，但剩下的 30% 将很快成为限制整体的瓶颈。如果 AI 的能力最终没能实现 100% 的全自动（例如，仅仅充当极其好用的编程助手），那么人类研究员依然会是核心制约，导致算法进步速度的提升幅度非常有限。此外，实现 AI 研发自动化很可能面临长尾能力挑战——AI 研究员日常工作中最后的 10% 职责可能极其难以被自动化。这可能会让智能爆炸的斜率变得较为平缓，不过据我推测，这最多只会将进程拖延两三年。或许 2026/27 年的模型会充当“准自动化研究员”（proto-automated-researcher）的角色，但我们依然需要花一两年的时间来进行最后的“解除束缚”、提升模型能力、优化推理速度以及解决各种工程磨合，从而最终迈向完全的全自动，并最终在 2028 年左右迎来 10 倍提速（并在本十年结束前迈入超级智能时代）。

• 算法进步的内在极限：在算法效率上再取得 5 个数量级的提升，是否在根本上就不可能实现？我对此深表怀疑。虽然技术演进终归会有其天花板，¹⁰ 但既然我们在过去十年已经录得了 5 个数量级的算法飞跃，我们理应预期至少还有下一个十年的算法进步空间有待开垦。更直观地来看，当前的架构设计和训练算法依然显得非常粗糙和简陋，看起来理应存在高效得多的设计机制。生物学参照类同样表明，超高效算法是合理可能的。

• 好想法变得越来越难找，导致自动化研究员只能维持、而无法加速当前的进步速率：一种反对声音指出，虽然自动化的研究能极大提升研究投入总量，但好创意也会越来越难找。也就是说，如今可能只需要一家实验室的区区几百名顶尖研究员就能维持每年 0.5 个数量级的效率提升，但随着容易摘取的低垂果实被摘完，未来维持这一速度所需的研发投入将越来越庞大——因此，这 1 亿个自动化研究员的出现，不过是维持现有进步速度的必要前提罢了。我认为这一底层逻辑模型是成立的，但在量化实证上完全对不上账：我们通过自动化获得的研究投入扩张幅度（百万倍）实在是太庞大了，远远超出了历史上为了维持技术进步所需增加的研究投入增长率。在经济学建模中，去假设自动化带来的人力提升幅度 恰好只够 抵消发现新想法难度的增加，从而让研究进度保持恒定，这是一种极度牵强且概率极低的“剃刀边缘假设”（knife-edge assumption）。

• 好想法越来越难找且存在边际收益递减，导致智能爆炸很快就偃旗息鼓：与上述反对声音类似，即便自动化的 AI 研究员能带来初期的一轮爆发，但这一高速度能否持续，主要取决于算法进步边际收益递减曲线的形态。同样地，我对历史实证数据的最佳研判表明，各项指数（exponents）的最终取值都强烈支持智能将呈现出爆发式/加速进步的态势。在任何情况下，仅仅是这种从几百人跨越到数亿“虚拟科学家”的单次投入爆发，就足以在算法效率这一维度上，克服边际收益递减，并轻松支撑相当多个数量级的自我维持的进步，即便它在物理上确实不可能无限制地自我维持下去。

用于实验的算力受限

算法进步的生产函数包含两个互补的生产要素：研究投入与实验算力。数以百万计的自动化 AI 研究员在运行实验时，其实并不会拥有比人类研究员更多的算力资源；也许它们最终的大部分时间都只是在无所事事地等待它们的实验任务跑完。

这可能是智能爆炸中最重要的瓶颈。归根结底，这是一个量化问题——这一瓶颈究竟有多严重？综合权衡后，我很难相信 1 亿个阿莱克·拉德福德无法将实验算力的边际产出 提高至少 10 倍 （从而依然能让整体进度提速 10 倍）：

• 利用小规模算力依然能大有作为。 绝大多数 AI 研究的典型模式是先在小规模上进行测试，然后通过缩放定律（scaling laws）进行外推。（历史上许多最核心的技术突破，其最初验证所需的算力极其微小，例如 最初的 Transformer 架构 仅仅在 8 张 GPU 上跑了几天就完成了训练。）请注意，随着未来四年有效算力将录得约 5 个数量级的基线扩张，届时所谓的“小规模”就意味着 GPT-4 的量级——自动化的 AI 研究员每年将有能力在其训练集群上跑 10 万个 GPT-4 级别的算法实验，以及数千万个 GPT-3 级别的实验。（这足以支持它们测试无数种极具颠覆性的新架构设计！）

• 大量算力会被投入到最终预训练运行的大规模验证上——即确保能以足够高的置信度捕获年度旗舰产品的边际效率优化——但在智能爆炸的狂飙进程中，你可以大幅缩减此类繁冗的步骤，只需集中精力攻克那些能够带来巨额红利的变革性突破即可。

• 正如在 上一篇文章 中所讨论的，通过算力消耗极低的“解除束缚”往往能让模型获得 极其惊人 的能力提升。这些优化手段完全不需要进行庞大的预训练。极有可能的是，智能爆炸的起点是由自动化的 AI 研究员寻找到了一种全新的上层强化学习（RL）路径，通过“解除束缚”红利直接为我们带来了几个数量级的等效算力提升（由此正式拉开狂飙序幕）。

• 随着自动化研究员自身寻找到算法效率的提升，它们将能跑更多的实验。 回顾一下在 上一篇文章 中探讨的，仅仅依靠人类科学家的算法研究，就实现了在两年内将 MATH 性能相同的模型推理成本拉低近 1000 倍，并在上一年将通用推理成本拉低了 10 倍。自动化的 AI 研究员首先会做的事情，必然是极速挖掘出类似的巨大效率红利，这能反过来支持它们在全新的强化学习（RL）路径上跑 100 倍数量的实验。或者，它们能够快速裁剪出在相关细分领域具备类似能力的小尺寸模型（类似于前文讨论的 Gemini Flash，其成本比 GPT-4 便宜近 100 倍），这能反过来支撑它们用这些小模型做多得多的算法测试（再次强调，可以想象用这些小模型去尝试各种不同的 RL 方案）。此外，可能还存在其他未被释放的“算力存量”，例如自动化的 AI 研究员能极速设计出更为出色的分布式训练架构，从而把所有推理 GPU 资源整合利用起来（这能瞬间释放出至少 10 倍的算力规模）。从更普遍的意义上讲，它们在训练效率上每取得 1 个数量级的优化，都将为它们带来额外 1 个数量级的实际可用实验算力。

• 自动化研究员本身的执行效率会高得多。 再怎么强调也不为过：如果每一次实验都能在第一次按下运行键时就彻底做对——没有棘手的 bug、对要跑的实验精挑细选——你能少跑多少实验。试想一下，有 1000 个自动化的 AI 研究员，花费相当于人类一个月的精力，在点击启动实验前反复核实你的代码、确保万无一失。我曾就此询问过前沿实验室的一些研究员同行，他们普遍表示赞同：如果能够完全规避各种无谓的 bug、保证每次实验都能一次跑对，且只运行具备高信息价值的实验，大多数项目都可以轻而易举地节省 3 到 10 倍的算力消耗。

• 自动化研究员将具备更优秀的算法直觉。

• 最近，我与一家前沿实验室的实习生聊天；他提到在过去几个月里最深刻的感受是，每当他满怀热情地提出许多想要跑的实验方案时，他的导师（一位资深科学家）总是表示他早已能预判出实验结果，因此完全没有必要去跑。这位资深科学家多年来随手摆弄各种模型、随机试做各种实验的经历，使其磨砺出了极其敏锐的直觉，能够精准判断出哪些点子行得通，哪些行不通。同样地，我们的 AI 系统可以轻易建立起超越人类的机器学习算法直觉——它们读过机器学习领域的每一篇文献，能从所有并行运行的实验中汲取经验并进行深度归纳，甚至可以直接训练模型去预测数百万种 ML 实验的走向。甚至，它们首批开发出的核心能力之一，可能就是建立起一套强悍的基础科学体系，用以“在训练刚跑完前 1% 时、或者仅在观察到该实验小规模版本的效果后，就能极其精准地预测出大规模训练是否会成功”。

• 此外，除了对技术大方向的极佳洞察力之外，正如杰森·魏（Jason Wei）所指出的，在决定算法实验成败的数十个超参数（hyperparameters）和繁杂细节上具备出色的直觉，会带来难以置信的巨大回报。杰森将这种仅凭直觉一次就跑对实验的能力称为“YOLO 式运行”（yolo runs）。（杰森写道：“我唯一知道的是，凡是能够做到这一点的人，其科研产出毫无疑问是普通研究员的 10 到 100 倍。”）

算力瓶颈确实意味着百万倍研究人力的增加并不能直接折算为百万倍的科研产出速度——这决定了智能爆炸不会在一夜之间凭空发生。然而，自动化的 AI 研究员相比人类研究员拥有压倒性的底层优势，因此我们很难想象它们无法将算力的使用效率提高至少 10 倍——从而让算法进步提速 10 倍，这依然是极其顺理成章的。

回应最强反驳：机器学习学术界的过往表现对算力瓶颈有何启示？

在此，我想花点时间来探讨我所听到的对该观点最具说服力的一种反驳，由我的朋友詹姆斯·布拉德伯里（James Bradbury）提出：如果增加机器学习的研发投入能以如此惊人的幅度加速技术进步，那么为什么目前规模至少达数万人的学术界 ML 研究社区，未能对前沿实验室的研究进展做出更重大的贡献？ （目前来看，各大前沿实验室内部的科研团队，总共大概只有一千人左右，却扛起了前沿算法突破的大部分江山。）他的论点是，原因就在于算法进步受制于算力瓶颈：学术界的学者们根本没有足够的算力资源。

针对这一反驳，我有以下几点回应：

• 如果对研究人员的水平进行质量折算，我认为学术界真正有分量的学者大约在数千人，而不是几万人（例如，只看全球顶尖的高校科研力量）。这在体量上并没有比各大前沿实验室的人手总和多出太多。（而且这与我们通过自动化 AI 研究员能够瞬间部署的数亿规模相比，完全是九牛一毛。）

• 学术界的研究方向往往跑偏了。直到非常最近（甚至时至今日），绝大多数学术界 ML 研究人员甚至根本没有将核心精力投入到大语言模型（LLM）的研究上。

• 就学术界内真正专注于大语言模型的一流研究力量而言，其实际人数可能明显少于各大前沿实验室相关人手的总和。

• 即使学术界学者真的着手研究大模型预训练等领域，他们也根本无法接触到行业内最顶尖、最前沿的技术积累——即各大实验室在长期训练前沿大模型过程中所沉淀下来的海量细节和独门工程经验。他们不知道当前产业界真正面临的技术痛点是什么，或者只能贡献一些一次性的孤立成果——由于基线调得太差，业界根本无从利用（也就没人能判断他们的方法是否真的是实质性改进）。

• 相比自动化的 AI 研究员，人类学者的效率极其低下：他们无法以 10 倍或 100 倍的速度思考工作，他们无法在瞬间阅读并融会贯通有史以来发表的每一篇 ML 论文，他们无法花费十年之功去排查每一行代码的 bug，他们更无法直接进行自我复制以规避冗长的入职和培训周期。

另一个能够反驳“詹姆斯观点”的行业反例：坊间传闻谷歌 DeepMind（GDM）拥有的实验算力规模远远超过 OpenAI，然而在实际的算法进展上，GDM 似乎并没有大幅领先 OpenAI。

总体而言，我预计自动化研究员将发展出一种截然不同的科研范式，这能充分发挥其自身长处，并旨在缓解实验算力的制约。我认为，面对这一充满变数的未来，保持适度的审慎和不确定感是合理的，但仅仅因为人类研究员极难跨越算力瓶颈，就盲目断定更强大的模型也一定无能为力，这显然是不明智的。

• 例如，它们在项目初期就可以将大量资源倾注于构建一套扎实的基础科学体系，专门探索“如何仅从小规模实验的外推表现，来高度精准地预测出大规模训练的最终成败”。而且我预期，它们能轻松做到许多人类科学家根本做不到的事，比如“仅仅观察前 1% 训练的表现，就能断言这一大模型能否训练成功”。如果由具备超人般算法直觉的顶级自动化研究员来执行这一任务，这在工程上是完全可行的，它将为大项目节省天文数字般的实验算力。

• 当我脑海中浮现出 AI 系统实现 AI 研发自动化的图景时，我认为它们确实在实验算力上受限，但它们完全能通过比人类多进行 1000 倍（且快得多）的独立推理与演算来弥补这一短板，且它们的逻辑深度和质量将远在人类之上（例如，得益于通过训练预测数百万种实验走向所培养出的超人般 ML 直觉）。除非它们在自主思考上的表现远远逊色于工程执行，否则我认为这一优势能抹平极大的算力限制，这将与传统的学术界学术研究有本质上的不同。

（除了实验算力之外，另一个潜在的瓶颈是，你最终依然不得不去跑一次完整的大模型训练，这在目前往往需要耗费几个月的时间。但在智能爆炸的狂飙时期，你完全可以大幅合并这些训练，在这一年里只运行极少数的几次超级预训练，使每一次训练都能迈出比今天实验室常规幅度更大的数量级跨越。）

请注意，虽然我认为这一情况极有可能发生，但它同样蕴含着一些令人担忧的因素：这意味着，我们未来的技术路线图将不再是以前那样连续演进、每一代大模型只比上一代强一点点，下游模型的智力飞跃可能会表现得非常离散且不连续。在这一轮智能爆炸中，我们可能只会运行一次或极少数几次庞大的预训练，但每一次预训练都将一口气吞下由海量小规模实验所验证并累积的多个数量级的算法技术突破。

（或者，你完全可以“牺牲”掉你所发掘出的 5 个数量级算法效率优化中的 1 个数量级，以此换取将原本需要几个月的巨型训练流程压缩到在几天内就全部跑完。）

互补性与迈向 100% 全自动化的长尾瓶颈

经济学家用来反驳“AI 自动化能极速拉升经济增速”的经典理论，是不同任务之间的互补性——例如，把 1800 年人类所从事工作的 80% 自动化，并没有直接带来经济的爆发式增长或大规模失业，相反，剩下未被自动化的 20% 工作成了全人类集中去做的事，并继续充当限制整体产出增长的瓶颈。（这一机制的模型分析可以参考 这篇论文）。

我认为经济学家的这一 分析模型 是完全正确的。但这里的一个关键差别在于：我在此所讨论的，仅仅是当前国民经济中极度微小的一个特定部门（即 AI 研发本身），而不是社会整体经济。在智能爆炸的狂飙岁月中，大众可能依然像往常一样出门剪头发——因为届时物理机器人可能还没完全攻克、适用于各行各业的特定 AI 还没开发完毕、社会的制度性接纳与铺开也需要漫长时间等等——但 AI 系统 绝对 已经有能力独立开展 AI 的研发工作了。正如在 上一篇文章 中所讨论的，当前的 AI 技术演进正带领我们创造出在智力上与人类最聪明精英相当的、可以直接上岗的“远程员工”；而正如此文所推演的，一个 AI 研究员的日常工作，完全处于可以被完全自动化的职责边界之内。

尽管如此，在实际工程落地中，即使是针对 AI 研究员/工程师这一特定岗位，在通往真正 100% 全自动化的道路上也必然存在长尾效应。例如，我们可能会先孕育出能够替代人类工程师 绝大部分 工作、但依然需要一定程度人类监督的系统。

具体而言，我预期 AI 的实际能力在不同专业领域的分工表现将呈现出参差不齐、极度尖锐的不均衡态势：例如它写出的代码水平甚至超越了世界上最优秀的程序员，但在某些任务或技能上依然存在明显的盲区；而当它在它最差的短板上终于追平人类平均水平时，它在编码等极其容易通过数据训练的领域，早已达到了遥遥领先人类的超人级别。（这部分解释了为什么我认为它们在利用实验算力时，其效率能远远超越人类科学家。在 100% 自动化的临界点/智能爆炸的起点，它们在特定关键领域就已经确立了对人类的绝对代差优势。这在未来将对 超级对齐 产生极其深远的影响，因为这意味着，为了对齐哪怕是第一代自动化 AI 研究员，我们也被迫去对齐在许多领域都已实质性超越人类水平的系统。）

但我预期这一“过渡期”绝对不会维持超过几年的时间；考虑到 AI 进化的恐怖速度，我认为这可能只需要通过进行几次额外的“解除束缚”（即清除阻碍模型走完“最后一公里”的某些明显局限），或者再迭代一代模型，就能将最后的长尾瓶颈彻底扫平。

总的来说，这可能会使智能爆炸的初段斜率显得较为平缓。它可能并不是直接从“2027 年 AGI”一步跳跃到“2028 年超级智能”，而更接近于如下的演进路径：

• 2026/27 年：诞生“准自动化工程师”，但在部分偏门领域依然存在认知盲区。在实际研发中已经能实现 1.5 到 2 倍的效率提速，科研进度开始呈现温和的加速态势。

• 2027/28 年：诞生“准自动化研究员”，能够将超过 90% 的研发工作完全自动化。虽然依然残留着极少数需要人类把关的卡点，且还需要磨合如何协调一个庞大的自动化研究员组织，但这已经能让技术进展提速 3 倍以上。这会极速倒逼模型完成最后必不可少的“解除束缚”，彻底填平通往 100% 全自动化的最后缺口。

• 2028/29 年：技术迭代速度飙升 10 倍以上，由此正式诞生超级智能。

这一速度依然是快得令人窒息的……

算法进步的内在极限

在物理和数学层面上，算法效率的提升空间终归会存在一个绝对的终极天花板。（例如，压榨出 25 个数量级的算法提升显然是不可能的，因为这等同于声称你可以用不到约 10 次 FLOP 运算，就能训练出一套具有 GPT-4 相同能力的复杂神经网络。不过，用现有架构、把硬件规模扩大 25 个数量级，你确实能获得等效的结果！）

但是，再取得 5 个数量级左右的算法红利，完全处于可行性的技术边界之内；回顾前文，这仅仅意味着把过去十年的算法提速趋势线在未来再维持十年而已（这甚至还没把由于“解除束缚”而带来的一步登天式的算法飞跃计算在内）。

直观地看，我们显然还远远没有摘完技术树上那些容易够着的低垂果实，因为很多机器学习历史上最重大的里程碑式发现，其原理往往简单得令人难以置信——而当前模型的架构和训练流程，依然显得如此简陋且被各种明显的限制所束缚。例如，我认为非常可信的一点是，我们将通过开发出能借助“思维链”（chain-of-thought）“出声思考”的 AI 系统，来一步步蹚出通往 AGI 的道路。但 显而易见 的是，这绝对不是最完美、最省算力的设计机制，显而易见，如果模型能够直接通过其内部的隐藏状态/循环机制（recurrence）等来完成这一推理过程，其计算效率将高得多。再比如自适应算力（adaptive compute）的缺失：Llama 3 在预测像“and”这种毫无信息价值的虚词时，所耗费的算力资源，竟然与回答某个复杂问题时完全一样，这显然远非最优。我们在一些极其微小的架构修补上都能斩获巨大的数量级红利，而行业中还有数十个类似的效率大坑等待着更优的算法和训练架构去填平。

生物学参照类同样表明还有巨大的提升空间。例如，在极为微小的物理架构演变下，人类不同个体之间的智商分布跨度却极其庞大。人类大脑的神经元数量与其他动物在同一个量级，但人类在智商表现上却将这些动物远远抛在脑后。而当前的 AI 模型在 能源与计算效率上相比人类大脑 依然要落后好几个数量级；人类只需要 AI 模型所需数据量的极小一部分（因而意味着极少极少的“计算量”），就能够轻松学会各种复杂概念，这预示着我们的算法和神经网络架构中依然有着巨大的提升空间有待挖掘。

好想法越来越难找与边际收益递减

随着低垂的果实被逐一摘取，寻找新想法就会变得越来越难。在 任何技术进步的细分领域中 这一客观规律皆然。在对数-对数（log-log）坐标图上，这呈现为一条直线：log(进步) 是 log(累计研究投入) 的函数——每再取得 1 个数量级的进步，所需投入的累计研究投入都比上一个数量级更多。

这给“智能爆炸”假说带来了两个反驳：

1. 自动化的 AI 研究，仅仅是维持现有进步速度的必要条件（而无法大幅加速它）。

2. 一场纯粹依赖算法优化的智能爆炸是不可能长久自我维持的，它会由于新点子越来越难找、或遭遇边际收益递减而迅速熄火。

在我前期的学术生涯中，当我从事经济学研究时，我曾倾注了大量心血来研究此类增长动力学模型。（尤其是， 半内生增长理论（semi-endogenous growth theory） 是剖析人类技术演进的标准经济学模型，它极其精准地捕捉到了科研人员投入不断膨胀与好创意越来越难找这两股力量之间的博弈。）

简而言之，我认为这些反驳背后的底层经济学模型是完全成立的，但最终的推演走势是一个实证问题——而我认为，他们对历史实证数据的量化分析出错了。

这里最核心的问题在于：我们每取得 10 倍的算法效能拉升，下一次要再取得同等比例的进步，其研发难度到底会增加 大于 10 倍 还是 小于 10 倍 ？我们可以通过一个简单的草稿演算（遵循 主流经济学文献 里的量化估算逻辑）来锚定这一边界。

• 假设我们严肃对待每年约 0.5 个数量级的算法提升趋势线；这等同于我们在 4 年里实现了 100 倍的效率拉升。

• 然而，任何一个前沿 AI 实验室内部真正从事核心算法研发的人才规模（经过质量折算后的实际人头数），在过去 4 年里的膨胀肯定不到 100 倍。也许 只是翻了 10 倍（从最初的十几人规模增长到后来的上百人），且如果对人手素质进行质量折算，这一增长比例还要打折扣。

• 尽管人手规模的增长如此有限，但算法进步的斜率似乎依然维持住了。

因此，在回应第一个反驳时，我们可以清醒地看到，自动化研发所释放的近百万倍的人力资源暴涨，其规模远远超过了仅仅维持现有进步速度所需的边际投入。也许我们在 4 年内只需要把前沿实验室里真正从事核心算法的研究队伍扩大到几千人，就足以抵消研究难度攀升的阻力、从而维持住 0.5 个数量级的年化飞跃；在此背景下，突然降临的 1 亿个阿莱克·拉德福德将是一股 极其庞大 的研究增量，这必然会带来研发进度的疯狂拉升。那种坚信自动化带来的研究投入扩张 恰好只够 抵消研发难度的增加，从而让研究进度纹丝不动的看法，实在是一种极度牵强的“剃刀边缘假设”。（这甚至还没把 AGI 能以 10 倍于人类的速度思考，以及它相比人类研究员所具备的其他全方位优势计算在内。）

针对第二个关于“边际收益递减导致熄火”的反驳，我们有以下两点研判：

• 第一，即前文所述的数学条件。既然草稿演算已经表明，我们在实现 100 倍算法跨越的过程中，所必须追加的研究投入实际上远不到 100 倍，这就有力地表明：收益曲线的形态支持自我维持的进步。（即：100 倍的技术跨越 → 自动生成了 100 倍的自动化研发产能；而下一次跨越你实际上只需要 10 倍的产能投入就足以维持，这使得累积的产出剩余完全足以支撑一轮自我维系的技术大爆发。）

• 第二，即使在数学模型中智能爆炸最终无法演变成一场无休无止的完全链式反应，这也并不妨碍我们通过这一机制在短期内斩获一个有界但跨越多个数量级（many OOMs）的惊人算法技术洪流。从本质上说，这甚至不需要体现为一种永久改变斜率的“增长效应”（growth effect），只要一次足够大的“水平效应”（level effect）就已足够。也就是说，近百万倍研发人力的单次注入（再叠加自动化研究员相比人类研究员的其他诸多优势），其带来的单次推动力是如此巨大，以至于即便智能爆炸最终会因为边际递减而逐渐慢下来，它也已经在极短时间内给人类遗留下了好几个数量级的技术跃升成果。打个比方，在半内生增长经济学理论中，将一个国家的科研投入占 GDP 比例从 1% 瞬间拉升到 20%，并不能让这个国家的经济增长率永远维持在极高斜率上——边际递减终究会把增长率拉回常态——但这一巨额投资所创造的单次“水平效应”，其释放出的庞大财富和技术增量，就足以让该国经济在接下来的几十年里享受极高速增长的红利。

总的来看，虽然这一爆发显然不可能没有边界，且我对它最终能走多远也抱有很大的不确定性，但我认为，纯粹依靠算法收益或 AGI 自动化研发，取得 5 个数量级左右的智能大跃升，是极具可信度的。

汤姆·戴维森（Tom Davidson）和卡尔·舒尔曼（Carl Shulman）也曾使用增长模型框架 深入剖析了这一机制的量化实证，并得出了非常相似的推论。 Epoch AI 在其近期发表的实证研究中 同样证实了算法研发的实际收益递减斜率完全支持技术爆炸的发生，并发布了 对该推论核心含义的精彩解读。

总的来说，上述技术障碍可能会在一定程度上放缓爆发的节奏：像“一夜之间直接智能爆炸”这种极端的剧本大概率不会上演。它们可能会导致爆发前出现一段较长的“蓄势期”（例如我们不得不花上一两年的时间，等待稍显笨拙的“准自动化研究员”逐步成熟为真正的自动化阿莱克·拉德福德，之后狂飙才会真正爆发）。但它们绝无法否定智能爆炸在短期内发生的高可信度。在一年内——或者最多两三年内，甚至可能仅仅在几个月内——实现从“全自动 AI 研究员”向“远超人类的超级智能系统”的惊人过渡，应当成为我们对未来地平线推演的基线预期。

超级智能的巨大力量

无论你是否赞同这些观点中最极端的表述方式——无论我们是在不到一年的时间里迎来智能爆炸，还是需要几年的时间——有一个事实是显而易见的：我们必须正面直视超级智能降临的可能性。

我们在 这一个十年结束前 可能拥有的 AI 系统，其威力将超出我们所有人的想象空间。

• 它们在 数量上 将是超越人类的。借助我们在本十年末建立的 数以亿计的 GPU 算力集群，我们将能同时运行一个由数十亿个 AI 组成的文明，它们的“思考”速度将比人类快上好几个数量级。它们能极速通关任何一个学术和产业领域、编写数万亿行的复杂代码，并在瞬间阅读并内化人类有史以来在所有学科领域发表过的每一篇科研论文（它们将是完美的跨学科全才！），甚至能在你刚读完某篇论文摘要时就已经撰写出了数篇全新的续作。它们能实现所有并发副本的并行学习，在短短几周内围绕某项新创新沉淀出相当于人类数十亿年的累积经验。它们能全天候以顶格的精力和专注力工作，绝不会因为团队中某个拖后腿的同事而拖累整体项目的交付进度。

• 更为关键——但也更难想象的一点是——它们在 质量上 也将是超越人类的。一个微小但具有代表性的现实案例是，大规模的强化学习（RL）训练往往能够激发出完全超出人类理解维度的创新行为，例如在 AlphaGo 对战李世石时下出的那手著名的第 37 步棋。超级智能将在各行各业和学术领域重现这一神迹。它能找出人类代码中微妙到任何人都无法察觉的漏洞，也能写出复杂到即便它花上数十年向我们耐心解释、我们也完全无法理清其脉络的庞大代码库。对人类科学家而言被卡住了数十年都无法取得突破的终极科技难题，在它们眼里将显得 理所当然且极其简单 。我们届时就像是一群在牛顿经典力学里苦苦挣扎的高中生，而超级智能早已在量子力学的世界里自由探索。

为了更直观地感受这可能会变得多么 疯狂 ，你可以去 YouTube 上看一些电子游戏速通（Speedrun）的视频，比如这个 在 20 秒内彻底通关《我的世界》的视频。

在 20 秒内通关《我的世界》（如果你完全看不懂这个视频里在发生什么，不用担心，这很正常；即使是该游戏的普通玩家也几乎完全摸不着头脑。）

现在，试想一下如果将这种“速通”级别的效率和维度，应用于人类所有的科学研究、技术研发和经济活动中。当然，这其中的误差范围（error bars）非常庞大。但思考这一变革将如何深远地改变人类历史，是至关重要的。

站在这个转折点上，会是怎样的一种体验？插图来源： Wait But Why / Tim Urban。

在智能爆炸的早期阶段，这种爆炸式进步最初只会局限在“自动化 AI 研究”这一狭窄领域。但随着我们孵化出真正的超级智能，并将数十亿个超智能体部署到各行各业的研发一线时，这种爆炸式进步必将扩展到全社会：

• AI 自身能力的二次爆发。 也许最初诞生的 AGI 身上还带有某些局限性，导致其无法在其他领域（除 AI 研发之外）实现完全的自动化；但自动化的 AI 研究员本身将极速攻克并修复这些短板，从而彻底解锁针对所有认知类工作的 100% 全面自动化。

• 彻底攻克机器人技术。 超级智能绝对不会长久停留在纯粹虚拟的认知层面。让机器人真正好用，本质上是一个 机器学习算法问题 （而不是硬件问题），我们的自动化研究员极有能力扫清这些算法障碍（后文详述）。工厂的运转模式将迅速从人类操控，演变为由 AI 居中指挥、利用人类的体力劳动，并很快跨越到完全由庞大的自动化机器人集群自主运转的终极形态。

• 以前所未有的斜率加速科学和技术进步。 是的，单凭爱因斯坦一个人的智力，绝对无法独自从零构建起整个神经科学并建立起半导体产业。但如果有 10 亿个超级智能的自动化科学家、工程师、技术专家以及机器人技术人员（而且这些机器人将以 10 倍乃至更快于人类的速度活动！），¹¹ 将能在短短几年内在海量科学前沿领域斩获不可思议的决定性跨越。（这里有一个精彩的 科幻短篇 ，生动描绘了 AI 驱动下的科研探索图景。）这 10 亿个超级智能体将能把人类研究员在未来一个世纪才能完成的研发工作，压缩到短短几年之内。试想一下，如果将整个 20 世纪的人类科技进步压缩到不到十年里发生：我们将在短短几年内实现从认为飞天是天方夜谭、到飞机首飞、再到载人登月和洲际弹道导弹研制成功的全过程。这就是我所预期的 2030 年代在所有科技领域上演的剧本。

• 工业与经济产能的超级大爆发。 极速飞跃的科技突破，叠加全面自动化所有人手劳动的能力，将给人类的经济增速带来狂暴拉升（想象一下：可以自我复制的无人工厂在短短几个月内就铺满整个内华达州沙漠）。¹² 届时的经济增长绝不是温和地从年化 2% 爬坡到 2.5%；相反，这将是一次底层经济增长机制的断裂式跃迁，其历史意义堪比当年人类从极低增速的农业社会跨越到工业革命后年化百分之几增长的历史大转向。我们有可能会目睹年化 30% 甚至更高的恐怖经济增长率，甚至在单年内实现多次经济总量的翻倍。这在逻辑上完全符合经济学家建立的 AI 驱动下的 经济 增长 模型。当然，这在现实中极有可能会受到各种社会摩擦力的掣肘；例如过时的条文法规可能强制要求律师和医生仍然需要由人类担任，即使 AI 的服务品质早已将人类远远抛在后面；大众对大变局的本能抗拒和戒备，也必然会往不断扩张的智能无人工厂齿轮里撒沙子阻挠；而且我们在情感上可能依然倾向于雇佣真人保姆；这所有的一切都会拖低宏观 GDP 统计数据的实际增长率。但无论如何，在所有我们撤除了人为限制的行业部门（例如，迫于国家竞争压力而被迫在军事装备生产上全面放开），我们都将见证一轮势不可挡的工业大爆发。

经济增长模式	占主导地位的时间	全球经济总量翻倍所需时间（年）
狩猎采集时代	公元前 2,000,000 年	230,000
农耕时代	公元前 4,700 年	860
科学与商业繁荣期	公元 1,730 年	58
现代工业时代	公元 1,903 年	15
超级智能时代？	公元 2,030 年？	？？？？

经济增长模式的跃迁在历史上并非没有先例：随着人类文明不断从狩猎采集演进到农耕、科学与商业的勃兴以及工业化，全球经济的倍增速度一直在持续加速。超级智能完全有可能引爆下一轮增长模式的大断裂。本表基于罗宾·汉森（Robin Hanson）的学术报告《Long-run growth as a sequence of exponential modes》。

• 带来决定性且压倒性的军事优势。 甚至早期的纯粹认知型超级智能就已然能做到这一点；比如设计出某种超人级别的网络攻击方案，瞬间彻底瘫痪竞争对手的国防和军队系统。无论如何，军事威慑与技术进步在历史上向来是死死绑定在一起的，而极速拉升的科技大爆炸必将催生出相伴随的军事革命。无人机蜂群和机器人大军将举足轻重，但这仅仅是序幕；我们将迎来完全超乎想象的新型武器，从全新机理大规模杀伤性武器、密不透风的激光反导盾牌，到我们目前完全无法理解的终极手段。与超级智能时代的武装力量相比，在此之前的传统军事力量就像是拿 19 世纪骑着战马挥舞刺刀的骑兵团，去正面抗衡 21 世纪的现代集团军。（我将在 后续专题文章 中深度探讨超级智能如何带来不可动摇的绝对军事优势。）

• 具备颠覆美国政府的能力。 掌握超级智能的一方，很可能拥有足够的力量，从超级智能时代之前的旧势力手中夺取控制权。哪怕根本不需要物理机器人的配合，这个由超级智能构筑的虚拟社会就能轻易黑入任何缺乏防护的军事网络、选举投票、大众媒体等系统，以鬼神莫测的谋略巧妙地说服军方将领与社会选民，在经济竞争中胜过主权国家，或者自主设计出某种致命的新型合成生物武器并通过比特币匿名雇佣现实中的人类代为完成物理合成。在 16 世纪初期，科尔特斯（Cortes）仅凭大约 500 名西班牙人就彻底征服了拥有数百万人口的阿兹特克帝国；皮萨罗（Pizarro）仅带了约 300 名西班牙士兵便征服了拥有数百万人口的印加帝国；阿尔方索（Alfonso）仅凭约 1000 名葡萄牙人就彻底称霸印度洋。他们并没有神明般的力量，但仅凭旧大陆在技术上的领先，以及战略与外交谋略上的优势，就斩获了不可逆转的绝对决定性优势。超级智能的征服路径亦将如此。

机器人技术

一个很普遍的反对声浪指出，即便 AI 能胜任所有纯脑力认知任务，机器人技术的落地也远远滞后，这必定会拖住 AI 对现实物理世界的任何影响。

我过去对这一看法也深以为然，但我现在深信，机器人绝对不会成为阻碍。多年来人们笃信机器人是一个“硬件制造问题”——但时至今日，机器人硬件问题的解决早已大有进展。

越来越多的人开始清醒地认识到，机器人的物理落地本质上其实是一个 机器学习算法问题 。大语言模型（LLM）的冷启动极为容易，因为你可以直接拿一整个互联网的现成语料来做无监督预训练。但机器人动作并没有类似规模的现成数据集，因而需要更巧妙的算法设计（例如以多模态模型为底座，接着引入大规模合成数据、仿真环境演练以及巧妙的强化学习）来训练它们的动作控制。

目前有极其惊人的行业资源正在涌入这一风口以求解决该问题。但退一万步讲，即便我们在实现 AGI 前没能彻底解决，我们即将拥有的数以亿计的 AGI/超级智能体也将成为 极其惊人 的 AI 研究员（正如本文的核心观点所指出的！），它们非常有能力在极短时间内自主设计出让完美物理机器人运转所需的全部控制算法。

因此，即便机器人技术落地可能会带来几年的延迟（包括攻克底层的 ML 算法难关、在现实世界中进行测试天然慢于在仿真环境中模拟、以及在机器人完全有能力自我建造工厂前需要经历早期的工厂产能爬坡期等）——我认为延迟也不会超过几年，仅此而已。

经济爆炸式增长的起点发生在狭义的 AI 研发领域；随着我们逐步将超级智能应用于其他各行各业的研发，爆发将向全社会扩散。

---

这所有的一切将在 2030 年代如何演变，极其难以预测（那也将是另一个故事了）。但至少有一件事是极其清楚的：我们将极速坠入人类有史以来所面临的最为极端的历史境遇中。

达到人类智力水平的 AGI 本身，就已经具备极其深远的影响力——但从某种意义上说，它依然只是我们早已熟知的那种智能的一个更高效版本。然而，在极其可信的情况下，我们将在短短一年内直接过渡到一种更加陌生且诡异的“外星系统”上，这些系统对世界的认知深度、在各领域的非凡能力——也就是它们纯粹的强大力量——将超越全人类智慧的总和。在这场跨越中，当我们被迫把信任拱手交给 AI 系统时，我们确实面临着彻底 失去对局势控制权 的极大风险。

从更宏观的意义上看，所有事物的演进都将开始以 不可思议的速度 发生。而整个世界都将陷入癫狂。试想一下，如果将整个 20 世纪地缘政治所有的波诡云谲、人类在两次大战以及核战边缘所经历的全部生死存亡时刻，全部压缩在短短几年内集中爆发——这就是超级智能降临后我们即将面临的现实。到最后，超级智能系统将全面接管并运行我们的国防武力与国民经济。在这一场席卷全球的癫狂中，我们能坐下来做出正确决策的时间窗口将极其短暂。挑战将是空前巨大的。我们必须倾注人类所拥有的一切智慧与能量，才有可能在这场巨浪中全身而退。

智能爆炸以及紧接其后的超级智能降临早期，将是人类历史上最动荡、最紧张、最危险、最疯狂的时期之一。

而到这一个十年结束时，我们可能就已经身处其中了。

---

在推演智能爆炸与超级智能诞生的可能性时，我们常能听到与当年围绕核链式反应（以及由此催生的原子弹） 早期的激烈争吵 极其相似的回响。赫伯特·乔治·威尔斯（H. G. Wells）在 1914 年的一部科幻小说中就精准预言了原子弹的出现。当利奥·西拉德（Leo Szilard）在 1933 年首次在脑海中构想出核链式反应的原理时，他无法说服身边的任何一个人；那仅仅被视为纯粹的空中楼阁。当核裂变在 1938 年最终在实验中被首次证实后，西拉德再次陷入极大的焦虑，极力奔走呼吁学术界实施科研保密，这才终于唤醒了极少数人去正视核弹的可能性。爱因斯坦在此之前甚至从未认真设想过链式反应，但当西拉德登门拜访并将其呈现在他面前时，他立刻洞悉了背后的含义，并表示愿意做任何必要之事；他愿意拉响警报，也不害怕被人当成疯子。相反，费米（Fermi）、玻尔（Bohr）等绝大多数当时最杰出的科学家，都认为最“稳妥”的做法是淡化这一事件，而不是去严肃对待“核弹可能成为现实”的异乎寻常的含义。在他们眼里，实施科研保密（以防研究成果被德国人利用）和其他全力以赴的举国努力都荒谬透顶。因为链式反应听起来实在是太疯狂了。（尽管事实证明，原子弹距离成为现实只剩短短五年。）

此时此刻，我们被迫要再次去直面一场全新链式反应降临的可能性。也许在你听来，这依然带有极强的推测色彩。但在各大前沿 AI 实验室内部的资深科学家圈子里，许多人已经把极速发生的智能爆炸视为惊人且高可信的现实。他们能 看见 它。超级智能是可能的。

系列专题下一篇：III. 挑战 – IIIa. 狂飙：千亿与万亿美金级算力集群

---

---

Footnotes

1. 冷战时期许多荒谬的防务乱象（参见 丹尼尔·艾尔斯伯格的书）很大程度上就源于军方仅仅用氢弹直接替换了原子弹，却未能根据武器能力的这一巨大跃升，去重新修正其核政策与整体战争计划。 ↩

2. 此外，AI 研究员的日常工作，正是前沿实验室里的这些 AI 研究员自身最为了如指掌的岗位职责——因此，他们在训练和引导模型以更好地胜任这一特定工作时，会拥有极其敏锐的本能直觉。而且，为了极速提升自身的研发效率并巩固其所在实验室的竞争优势，他们有着强烈的动机去优化这一维度的模型能力。 ↩

3. 顺便指出，这暗示了关于 AI 风险爆发先后顺序的一个关键预判。外界常提及的一种典型威胁场景是 AI 制造出新型致命生物武器并引发全球毁灭灾难。但如果 AI 研发的自动化比生物学研发的自动化更直接可行，那么我们极有可能在面临极端 AI 生物威胁之前，就率先迎来智能爆炸。这一点至关重要——它决定了在 AI 事态彻底失控之前，我们能否及时等到生物威胁层面的“预警枪声”（bio warning shots）。 ↩

4. 正如前文所提到的，如今 GPT-4 的 API 价格比 GPT-3 刚发布时还要低廉——这表明推理效率优化的步伐极其迅猛，甚至在模型能力暴涨的同时，完全抹平并维持了单 Token 推理成本的恒定。同样地，仅仅在 GPT-4 问世后的一年时间里，行业就录得了 极其惊人的推理成本优化；例如， 目前版本的 Gemini 1.5 Pro 在各项推理基准上都超越了最初版 GPT-4，而其价格却 便宜了大约 10 倍。

   我们可以通过 Chinchilla 缩放定律对此进行更扎实的锚定。在 Chinchilla 框架下，模型尺寸（因而意味着推理成本）的增长与训练算力成本的开根号成正比，即仅占有效算力增长数量级（OOMs）的一半。然而，在 上一篇文章 中我指出，算法效率的迭代速度与算力集群的扩张速度基本同步，即它几乎贡献了有效算力整体增长数量级的另一半。如果这些算法效率的提升能在训练后完全折算为推理阶段的效率红利，这意味着算法红利将完全冲抵模型尺寸变大所带来的推理开销暴增。

   在实际工程中，训练算力效率的优化往往（但并非总是）能顺利折算为推理效率的优化。但与此同时，行业中还大量存在着许多仅针对推理优化而对训练效率毫无作用的独立算法突破。因此，至少从粗略的数量级估算来看，假设未来前沿模型的单 Token 成本大致维持在相似区间，是完全说得通的。

   （当然，它们在推理时会消耗多得多的 Token，即消耗更多的推理期算力。但这已经被计算在我们前文的公式推演中了，因为我们已经把人类思考的等效代价折算为了每分钟耗费 100 个 Token 的开销。） ↩

5. 目前 GPT-4 Turbo 的官方 API 价格 约为 每 1000 个 Token 资费 0.03 美元。我们假设届时我们将拥有数千万张 A100 等效 GPU，在当前租赁市场中，单张 A100 级别的算力成本大体是每小时 1 美元。如果我们使用这一 API 资费来将这些 GPU 的算力换算为可生成的 Token 总量，这意味着：数千万张 GPU * 1 美元/GPU-小时 * 3.3 万 Token/美元 = 约每小时产生 1 万亿个 Token。假定一个普通人类以每分钟 100 个 Token 的速度进行大脑推理，这意味着一个人类研究员每小时的智力输出量等价于 6000 个 Token。1 万亿 Token/小时除以 6000 Token/人类-小时 = 约 2 亿个人类等效人手——换言之，这在科研产出效能上等于同时雇佣了 2 亿名人类研究员全天候工作。（即便我们将其中一半的 GPU 算力保留用于运行验证实验，也依然能提供 1 亿名等效人类研究员的惊人总产能。） ↩

6. 上一条脚注测算的结果是每小时产生约 1 万亿个 Token，即每天产生 24 万亿个 Token。而在 上一篇文章 中我曾指出， 经过去重处理的公共 CommonCrawl 语料库总量大约也只有 30 万亿个 Token。 ↩

7. 雅各布·斯坦哈特（Jacob Steinhardt）在一项 关于推理效率权衡的数理推导中 指出，通过采用一种特殊的平铺（tiling）计算架构，可以用一台运行速度提升 k^2 倍的单一模型，来等价替代 k^3 个同时并行的模型副本（这一理论在 k 达到 100 甚至更大时依然有效）。假定初代模型的基线速度已经是人类思考速度的 5 倍左右（参考 GPT-4 发布时的生成速度）。那么，通过付出这一推理层开销（取 k 约为 5），我们就能以人类 100 倍的速度，同时运行大约 100 万个自动化研究员副本。 ↩

8. 根据这一 第三方专业测评机构的数据 ，Gemini 1.5 Flash 的吞吐量大约是 GPT-4 Turbo 的 6 倍，而 GPT-4 Turbo 的速度在此前已经显著快于初代 GPT-4。Flash 的生成延迟（Latency）可能也降低了约 10 倍（即快约 10 倍）。 ↩

9. 阿莱克·拉德福德（Alec Radford）是 OpenAI 内部一位极具天赋且高产的传奇科学家与工程师，是 许多最核心算法飞跃的幕后功臣，虽然他在外界的名声一直非常低调。 ↩

10. 例如，在 GPT-4 的基础上继续压榨出 25 个数量级的算法效率飞跃，这显然在物理上是不可能的：因为那等同于声称你可以仅用寥寥数次 FLOP 运算，就能训练出一套具有 GPT-4 相同能力的复杂神经网络。 ↩

11. 让能以 10 倍速活动的机器人在现实世界中开展实体研发，其实只是开发进度的“慢速版本”；在现实中，超级智能体在搞研发时，它们必定会竭尽所能地将实验搬到高度精确的计算机虚拟仿真环境中去跑，就如同 AlphaFold 攻克蛋白质结构 或工业制造中建立的 “数字孪生（digital twins）” 体系。 ↩

12. 为什么在现实中我们无法构建起一个类似于《异星工厂》（Factorio）的世界——即建造一座工厂，这工厂能生产出更多的工厂，并自我繁育、不断翻倍，直到最终给整颗星球铺满工厂？核心症结在于，我们面临着极端的人类劳动力瓶颈——你固然可以疯狂积累工业资本（厂房、机械等），但这将迅速遭遇边际递减，因为它们依然受制于有限且无法自我繁衍的人口总数。随着物理机器人和 AI 能够完全接管和自动化所有人类劳工，这一历史魔咒将被彻底打破；全智能的无人工厂能以近乎零限制的方式去自我繁育复制出更多无人工厂，从而引发一轮势不可挡的工业大爆发。更多此类经济增长模型可参见 这里。 ↩