情境感知：I. 从 GPT-4 到 AGI：估算数量级 (Counting the OOMs)

2027 年实现 AGI（通用人工智能）的可能性大得惊人。从 GPT-2 到 GPT-4，我们在短短 4 年内就跨越了“大约幼儿园水平”到“大约聪明高中生水平”的智力阶梯。通过追踪算力（每年增长约 0.5 个数量级/OOM）、算法效率（每年增长约 0.5 个数量级/OOM）以及“解除束缚”（Unhobbling）所带来的增益（从聊天机器人转变为自主智能体）的趋势线，我们有充分的理由预期，到 2027 年，AI 将再次实现一次类似“从幼儿园到高中生”这种级别的质的飞跃。

本篇目录：

• 过去四年
  • GPT-2 到 GPT-4
  • 深度学习的趋势
• 估算数量级
  • 算力
  • 算法效率
    • 数据之墙
  • 解除束缚 (Unhobbling)
    • 从聊天机器人到智能体同事
• 未来四年
  • 附录：狂飙数量级：本十年，不成则败

---

听着。这些模型，它们只是想学习。你必须理解这一点。模型们，它们只是想学习。

—— Ilya Sutskever（约 2015 年，经由 Dario Amodei 转述）

GPT-4 的能力让许多人感到震惊：一个能够编写代码和文章、能够推理复杂的数学问题、并且能在大学考试中取得顶尖成绩的 AI 系统。就在几年前，大多数人还认为这些是无法逾越的壁垒。

但 GPT-4 仅仅是深度学习十年来突飞猛进的延续。十年前，模型连猫狗的简单图像都几乎无法识别；四年前，GPT-2 还几乎无法连贯地拼凑出半通顺的句子。如今，我们正在迅速让所有能想到的基准测试（Benchmarks）都趋于饱和。然而，这一巨大的进步，仅仅是深度学习在规模扩展（Scaling Up）上持续保持一致趋势的结果。

有些人早在很久以前就看清了这一切。他们曾被嘲笑，但他们所做的不过是相信趋势线。这些趋势线极其强劲，而且事实证明他们是对的。模型只是想学习；你扩大它们的规模，它们就会学到更多。

我提出以下论断： 到 2027 年，模型完全有可能胜任一名 AI 研究员/工程师的工作。 这不需要你相信科幻小说；这只需要你相信图表上画出的直线。

对过去和未来“有效算力”（包括物理算力与算法效率）规模扩展的粗略估计，基于本文讨论的公开预测。随着模型规模的扩大，它们会变得越来越聪明。通过“估算数量级”（Counting the OOMs），我们可以粗略感知在（不久的）将来应该期待怎样的模型智能水平。（该图仅显示了基础模型的规模扩展；未包含“解除束缚”带来的红利。）

在这篇文章中，我将简单地“数数数量级”（OOM = Order of Magnitude，10 倍即 1 个数量级）：观察以下三个方面的趋势：1） 物理算力（Compute） ；2） 算法效率（Algorithmic Efficiencies） （我们可以将其理解为增加“有效算力”的算法进步）；3） “解除束缚”带来的红利（“Unhobbling” Gains） （修复模型默认被束缚的明显缺陷，释放其潜在能力并赋予其工具，从而带来实用性上的阶跃式提升）。我们将追踪在 GPT-4 之前的四年中这三个维度的增长情况，以及从 2023 年到 2027 年底的四年中我们应当期待什么。鉴于深度学习在有效算力每增加一个数量级时都会带来稳定且持续的提升，我们可以借此预测未来的进展。

在公开层面上，自 GPT-4 发布以来的一年多时间里，行业显得 有些平静 ，因为下一代模型仍在“烤箱”中酝酿——这导致一些人宣称技术陷入了停滞，深度学习正在撞墙。¹ 但通过估算数量级，我们可以一窥我们实际上将迎来什么。

结论其实非常简单。从 GPT-2 到 GPT-4——即从“偶尔能勉强拼凑出几句连贯句子的模型”到“能在高中考试中取得顶尖成绩的模型”——并不是一次性的红利。我们正在以极快的速度跨越数量级。数据表明，在未来的四年中，我们应该期待有效算力再实现大约 100,000 倍 的扩展——这将带来又一次类似于 GPT-2 到 GPT-4 级别的质的飞跃。此外，至关重要的一点是，这不仅仅意味着一个更好的聊天机器人；通过在“解除束缚”上摘取许多显而易见的低垂果实，我们应该能够从聊天机器人过渡到智能体（Agents），从一个工具演变为更类似于可以直接上岗的“远程员工替代者”。

虽然推导逻辑很简单，但其蕴含的意义却令人震撼。下一次这样的飞跃极有可能将我们带向 AGI——即智力水平等同于博士或专家，能够像同事一样与我们并肩工作的模型。也许最重要的是，如果这些 AI 系统能够实现 AI 研究本身的自动化，那将启动强烈的反馈循环——这也是 本系列下一篇 将讨论的主题。

即便到了现在，也几乎没有人将这些因素纳入考量。但只要你退后一步审视大趋势，对 AI 的“情境感知”（Situational Awareness）其实并不难。如果你不断被 AI 的能力所震惊，不妨开始数数数量级吧。

过去四年

我们现在拥有的机器，基本上可以让我们 像人类一样与之交谈 。人类能够如此迅速地适应这一变化，并将其视为日常、对进步的速度习以为常，这本身就是一个了不起的见证。但是，我们有必要停下来，看一看仅仅在过去几年中所取得的进展。

GPT-2 到 GPT-4

让我来提醒你，在通往 GPT-4 的短短约 4 年（！）里，我们走了多远。

GPT-2 (2019) ~ 幼儿园水平：“哇，它能连贯地拼凑出几个看起来说得通的句子了。”当时它 生成 的一篇关于安第斯山脉独角兽的半连贯故事（这是经过极力筛选的例子），在当时令人感到不可思议。然而，当时的 GPT-2 连数到 5 都会卡壳；² 在总结文章时，它的表现仅仅比随机抽取文章中的 3 个句子略好一点。³

当时人们对 GPT-2 感到惊叹的一些 例子。左图：GPT-2 在非常基础的阅读理解问题上表现尚可。右图：在一个精挑细选的样本中（10 次尝试中最好的一次），GPT-2 可以写出一段半连贯的文字，讲述一些关于美国内战的半相关内容。

将 AI 的能力与人类的智力进行对比是困难且有缺陷的，但我认为这种类比能提供直观的信息，即使它非常不完美。GPT-2 掌握语言的能力，以及偶尔生成半连贯段落或偶尔正确回答简单事实问题的能力，确实令人震惊。这在人类当中，相当于一个幼儿园小朋友的表现。

GPT-3 (2020) ⁴ ~ 小学生水平：“哇，只要给它几个少样本（Few-shot）的例子，它就能做一些简单的实用任务了。”它开始能够更加稳定地在多个段落之间保持内容连贯，并且能够纠正语法、进行非常基础的算术。它也首次在一些狭窄的领域展现出了商业价值：例如，GPT-3 可以为 SEO 和营销生成 简单的文案。

当时人们对 GPT-3 感到惊叹的一些 例子。上图：在一个简单的指令后，GPT-3 能够 在新句子中使用一个虚构的词。左下图：GPT-3 能够 进行丰富的互动故事创作。右下图：GPT-3 能够 生成一些非常简单的代码。

同样，这种对比是不完美的。但当时让人们对 GPT-3 感到惊奇的，大概是一个小学生能做的事情：写一些简单的诗歌、讲更丰富且连贯的故事、开始做些最简易的编程、能够相当可靠地从简单的指令和示范中学习，等等。

GPT-4 (2023) ~ 聪明高中生水平：“哇，它能编写相当复杂的代码并进行迭代调试，能对复杂的主题写出极具洞察力和水平的文章，能推理出复杂的高中竞赛数学题，在所有能给它的测试中，它都击败了绝大多数高中生，等等。”从写代码、数学推理到费米估算（Fermi estimates），它都能够思考和推理。GPT-4 现在已经融入了我的日常工作，无论是辅助编写代码还是修改草稿。

GPT-4 发布时让人们感到惊艳的一些例子，摘自《Sparks of AGI》论文。上图：它正在编写非常复杂的代码（并生成中间显示的图表），并能推理出有难度的数学问题。左下图：解答一道 AP 数学题。右下图：解决一个相当复杂的编程问题。关于 GPT-4 能力探索的更多有趣摘录见 这里。

从 AP 考试到 SAT，GPT-4 的得分超过了绝大多数高中生。当然，即使 GPT-4 依然表现有些起伏；在某些任务上它远强于聪明的高中生，而在其他一些任务上它却依然无法胜任。这主要是因为模型目前依然受到明显的束缚（我将在 稍后对此进行深入探讨）。尽管模型依然受到人为束缚，但其原始智力（Raw intelligence）已大体具备；我们还需要做额外的工作，来释放模型在各种实际应用中施展其原始智力的能力。

短短四年内的进展。在这一条线上， 你 身处何方？

深度学习的趋势

过去十年中深度学习的发展速度堪称不可思议。仅仅在十年前，深度学习系统能识别简单的图像就被视作革命性的突破。如今，我们不断尝试提出新颖的、难度越来越大的测试，然而每一个新的基准测试都会在短时间内被攻破。过去攻克广泛使用的基准测试需要数十年，而现在感觉只需要几个月。

深度学习系统正在许多领域迅速达到或超过人类水平。图表来源：Our World in Data

我们真的快要把基准测试用光了。举个轶事，我的朋友 Dan 和 Collin 在几年前（2020 年）开发了一个名为 MMLU 的基准测试。他们希望这能成为一个经得起时间考验的测试，相当于我们给高中生和大学生出的最难的考试。然而仅仅三年后，它就基本上被攻克了：像 GPT-4 和 Gemini 这样的模型能拿到约 90% 的分数。

更广泛地说，GPT-4 基本上攻克了所有标准的高中和大学水平能力测试。⁵（甚至从 GPT-3.5 到 GPT-4 这短暂一年的跨度，就经常将我们从远低于人类中位数水平的位置，提升到人类顶尖的水平。）

GPT-4 在标准化测试中的 得分。请注意，从 GPT-3.5 到 GPT-4，在这些测试中的人类百分比排名出现了巨大跃升，往往从远低于中位数直接飙升到人类的最顶尖梯队。（而且这还是 GPT-3.5，一个在 GPT-4 发布前不到一年才推出的相当新的模型，而不是我们之前谈论的那个笨拙的小学水平的初代 GPT-3！）

灰色：2021 年 8 月做出的关于 2022 年 6 月在 MATH 基准测试（来自高中数学竞赛的困难数学问题）上表现的专业 预测。红星：2022 年 6 月实际的前沿性能，远远超出了预测者给出的上限。中位 ML 研究员的预测 甚至更为悲观。

或者看看 MATH 基准测试，这是一套来自高中数学竞赛的困难数学问题。⁶ 当该基准测试于 2021 年发布时，最好的模型也仅能正确回答约 5% 的问题。原论文还指出：“此外，我们发现，如果规模扩展趋势继续下去，简单地增加算力预算和模型参数量，对于实现强大的数学推理能力而言是行不通的……为了在数学问题解决上取得更多进展，我们可能需要来自更广泛研究社区的全新算法突破”——他们认为，我们需要根本性的新突破才能解决 MATH。一项针对 ML 研究人员的调查曾预测未来几年的进展微乎其微；⁷ 然而仅仅一年内（到 2022 年年中），最出色的模型就将 准确率从 5% 提高到了 50%；如今， MATH 已经基本被解决，最新的模型表现超过了 90%。

一次又一次，年复一年，怀疑论者坚称“深度学习无法做到某事”，但很快就被事实证明是错的。⁸ 如果说我们在过去十年的 AI 发展中吸取了什么教训，那就是：永远不要做空深度学习（never bet against deep learning）。

现在，最难的未解决基准测试是像 GPQA 这样的测试，它包含了一系列博士级别的生物学、化学和物理学问题。这些问题中的许多对我来说读起来就像天书，即使是其他科学领域的博士，花上 30 多分钟用 Google 搜索，得分也勉强高出随机概率。Claude 3 Opus 目前能达到约 60% 的正确率，⁹ 而相关领域的博士正确率约为 80%——我预计这个基准测试在未来一两代模型中也会被攻破。

GPQA 问题的示例。模型在这些问题上的表现已经比我更出色了，我们可能很快就会攻克专家-博士级别……

估算数量级

这是怎么做到的？深度学习的魔力在于它就是 行之有效（just works） ——尽管一路上怀疑声不断，但其趋势线却保持了惊人的一致性。

以 OpenAI Sora 为例展示算力规模扩展的效果。

随着有效算力每提升一个数量级（OOM），模型都会可预测地、可靠地变得更强。¹⁰ 如果我们能够估算出这些数量级，我们就能（粗略且定性地）推断出能力的提升。¹¹ 这正是少数几个有远见的人预测到 GPT-4 到来的原因。

我们可以将从 GPT-2 到 GPT-4 这四年间的进展分解为以下三类规模扩展（Scaleups）：

• 算力（Compute） ：我们正在使用大得多的计算机来训练这些模型。
• 算法效率（Algorithmic Efficiencies） ：算法进步呈现持续增长的趋势。其中许多进步扮演着“算力倍增器”的角色，我们可以将它们统一放在“有效算力”不断增长的尺度上来看待。
• “解除束缚”带来的红利（“Unhobbling” Gains） ：在默认情况下，模型学会了大量惊人的原始能力，但它们在各种愚蠢的维度上受到了束缚，从而限制了其实际价值。通过简单的算法改进，例如来自人类反馈的强化学习（RLHF）、思维链（CoT）、工具和脚手架（Scaffolding），我们可以释放模型巨大的潜在能力。

我们可以“数数”这些维度上改善的“数量级”：也就是说，以有效算力为单位来追踪每一项的扩展情况。3 倍是 0.5 个数量级；10 倍是 1 个数量级；30 倍是 1.5 个数量级；100 倍是 2 个数量级，依此类推。我们还可以看看在 GPT-4 的基础上，从 2023 年到 2027 年我们应该期待什么。

我将逐一进行讨论，但结论是显而易见的：我们正在以极快的速度飞越这些数量级。尽管在数据壁垒（Data Wall）上可能存在潜在阻力（我将在后文讨论），但总体而言，到 2027 年，我们完全有可能在 GPT-4 的基础上再次迎来一次 GPT-2 到 GPT-4 级别的飞跃。

算力

我将从最常被讨论的近期进展驱动力开始：给模型喂（大量）更多的算力。

许多人认为这仅仅是摩尔定律（Moore's Law）的结果。但即使在摩尔定律的鼎盛时期，其进展相对而言也是“冰河速度”——大约每十年才增长 1 到 1.5 个数量级。相反，由于极其庞大的资金投入，我们正在见证更快速的算力扩展——速度接近摩尔定律的 5 倍。（曾经在单个模型上花费一百万美元都是一个没人敢想的荒谬念头，而现在这只是零花钱！）

模型	预估算力	增长
GPT-2 (2019)	~4e21 FLOP
GPT-3 (2020)	~3e23 FLOP	+ ~2 个数量级
GPT-4 (2023)	8e24 到 4e25 FLOP	+ ~1.5–2 个数量级

由 Epoch AI 提供的 GPT-2 到 GPT-4 的算力估算

我们可以利用 Epoch AI（在 AI 趋势分析领域因其卓越的研究而广受尊敬的机构）的公开估算，来追踪从 2019 到 2023 年的算力扩展。从 GPT-2 到 GPT-3 是一次快速的扩展；当时存在巨大的算力冗余（Overhang），得以从较小的实验规模扩展到使用整个数据中心来训练大型语言模型。而从 GPT-3 到 GPT-4 的扩展，我们过渡到了现代模式：必须为训练下一个模型构建一个全新的（大得多的）集群。然而，这种戏剧性的增长仍在继续。总体而言，Epoch AI 的估算表明，GPT-4 的训练使用的物理算力大约是 GPT-2 的 3,000 倍到 10,000 倍 。

从大体上看，这只是一个长期趋势的延续。在过去的十五年里，主要由于投资的全面扩大（以及通过 GPU 和 TPU 的形式将芯片专门用于 AI 工作负载），前沿 AI 系统所使用的训练算力一直以大约 每年 0.5 个数量级 的速度增长。

著名深度学习模型的训练算力随时间增长图。来源：Epoch AI

从 GPT-2 到 GPT-3 仅用一年的算力跳跃是一次不寻常的“大跃进”，但所有迹象都表明，这种更长期的趋势将继续保持。旧金山的传言中充斥着关于巨额 GPU 订单的惊人故事。涉及的投资将是史无前例的——但这些投资已经启动。我将在本系列的后文中对此进行更多探讨，详见 《IIIa. 奔向万亿级集群》；根据那项分析，到 2027 年底，算力再增加 2 个数量级（一个耗资数百亿美元的集群）是非常有可能实现的；甚至一个接近增加 3 个数量级（1000 亿美元+）的集群似乎也是可行的（并且有 传闻 微软和 OpenAI 正在筹划该项目）。

算法效率

虽然庞大的算力投资吸引了所有的眼球，但算法的进步同样是至关重要的驱动力（而且被极大地低估了）。

为了看清算法进步究竟能带来多大影响，我们可以参考下面这个例子：仅仅在 两年时间 内，让模型在 MATH 基准测试（高中数学竞赛）中达到约 50% 准确率的推理成本下降情况。（作为对比，一位不太喜欢数学的计算机科学博士生的得分为 40%，所以这已经相当不错了。）推理效率在不到两年的时间里提高了近 3 个数量级——也就是 1,000 倍 。

使模型达到约 50% MATH 表现的相对推理成本的粗略估算。¹²

尽管这些数字仅仅代表推理效率（由于很难从公开数据中推断训练效率的提升，因此推理效率可能与训练效率的提升相对应，也可能不对应），但它们清楚地表明，大量算法进步是完全可能且正在发生的。

在这篇文章中，我将区分两种类型的算法进步。在这里，我将首先涵盖“范式内”的算法改进——那些仅仅使基础模型变得更好，且能直观地看作是 算力效率提升 或 算力倍增器 的改进。例如，一个更优秀的算法可能允许我们用减少 10 倍的训练算力来达到相同的性能。这反过来相当于将“有效算力”提升了 10 倍（1 个数量级）。（稍后我将介绍“解除束缚”，你可以将其视为“拓展范式/拓展应用”的算法进步，它能够释放基础模型已有的潜能。）

如果我们退后一步，审视一下长期趋势，我们会发现新的算法改进正以相当稳定的速率出现。虽然单个的发现看起来很随机，而且在每一步似乎都有无法逾越的障碍，但长期的趋势线是完全可预测的——它在图表上是一条直线。相信趋势线。

对于 ImageNet，我们拥有最完善的数据（其算法研究绝大多数是公开的，并且数据跨越了十年时间），在 2012 年到 2021 年这 9 年间，ImageNet 的算力效率平均每年以大约 0.5 个数量级 的速度提升。

我们可以衡量算法的进步：与 2012 年相比，2021 年训练一个性能相同的模型需要少用多少算力？我们看到了每年约 0.5 个数量级的算法效率提升趋势。来源：Erdil and Besiroglu 2022。

这是一个巨大的利好：这意味着 4 年后，我们只需使用 1/100 的算力就能达到相同的性能（同时，在相同的算力下，能获得高得多的性能！）。

不幸的是，由于各个 AI 实验室都不公布其内部数据，因此很难准确衡量过去四年中前沿大语言模型（LLM）的算法进步。不过， EpochAI 的新研究 在语言建模领域复制了他们在 ImageNet 上的结果，并估算出从 2012 年到 2023 年，大语言模型中的算法效率趋势同样为每年约 0.5 个数量级 。（由于领先的实验室已经停止公布他们的算法效率，这部分数据的误差范围较大，且未能捕捉到一些最新的进展。）

由 Epoch AI 估算 的语言建模算法效率。他们的估算表明，我们在 8 年内实现了约 4 个数量级的效率提升。

如果直接观察过去 4 年，从 GPT-2 到 GPT-3 基本上是一次单纯的规模扩展（根据 论文），但自 GPT-3 以来，已经出现了许多公开已知或可以公开推断的效率增益：

• 我们可以从 API 成本中推断出效率的提升：¹³
  • GPT-4 发布时的成本与 GPT-3 发布时大致相当，尽管性能有了极其巨大的提升。¹⁴（如果我们基于缩放定律进行简单粗暴的粗略计算，这表明从 GPT-3 到 GPT-4 增加的有效算力中，大约有一半来自于算法的改进。¹⁵）
  • 自一年前 GPT-4 发布以来，随着 GPT-4o 的推出，OpenAI 的 GPT-4 级模型价格又下降了 6 倍/4 倍（输入/输出）。
  • 最近发布的 Gemini 1.5 Flash 提供了介于“GPT-3.75 级”和 GPT-4 级之间的表现，¹⁶ 而其 价格 比原始 GPT-4 便宜了 85 倍/57 倍（输入/输出）（极其惊人的回报！）。

• Chinchilla 缩放定律 带来了 3 倍+（0.5 个数量级+）的效率增益。¹⁷
• Gemini 1.5 Pro 声称实现了 重大的算力效率提升 （在性能超越 Gemini 1.0 Ultra 的同时，使用了“显著更少”的算力），并以混合专家模型（MoE）作为其核心架构变化。其他 几篇 学术 论文 也 声称，MoE 能够带来相当显著的算力效率倍增。
• 在 架构、 数据、 训练堆栈 等方面，一路上都存在着大大小小不断的微调和优化。¹⁸

综合来看，公开信息表明，从 GPT-2 到 GPT-4 的巨大跃升中，包含了 1 到 2 个数量级 的算法效率提升。¹⁹

在 GPT-4 发布后的四年里，我们应该预期这一趋势将继续保持：²⁰ 平均每年获得 0.5 个数量级的算力效率提升，即到 2027 年，我们将比 GPT-4 时代累计获得约 2 个数量级 的算法效率优势。尽管随着容易摘取的低垂果实被摘完，寻找新的算法效率提升会变得越来越难，但是各大 AI 实验室在寻找新算法改进方面的资金和人才投入正在快速增长。²¹（至少，可公开推断的推理成本下降速度目前没有表现出任何放缓的迹象。）在最乐观的情况下，我们甚至可能会看到更加根本性的、类似于 Transformer 的技术突破²²，从而带来更大的飞跃。

总而言之，这表明到 2027 年底，我们应该能够预期获得大约 1 到 3 个数量级 的算法效率增益（与 GPT-4 相比），其中最合理的预估是大约 2 个数量级 。

数据之墙

对于以上所有预测，存在一个潜在的重大不确定性来源：我们快要用光互联网上的数据了。这意味着，通过在更多抓取的互联网数据上预训练更大语言模型的粗放式路径，可能很快就会撞上严重的瓶颈。

前沿模型目前已经把互联网上的大部分数据都训练了一遍。例如，Llama 3 训练使用了 超过 15 万亿（15T）的 Token。Common Crawl（包含了互联网大部分内容的抓取数据库，常用于大语言模型训练）的原始规模超过 100 万亿 Token，尽管其中大部分是垃圾内容和重复内容（例如，进行 相对简单的去重 后还剩 30 万亿 Token，这意味着 Llama 3 基本上已经把能用的数据都用光了）。此外，对于像代码这样更具体的领域，可用的 Token 还要少得多，例如 公开的 GitHub 仓库 估计只有几万亿 Token。

虽然可以通过重复使用数据在一定程度上继续扩展，但 相关的学术研究 表明，数据重复带来的效果非常有限。研究发现，在循环训练 16 个 Epoch（即重复 16 次）之后，收益会极其迅速地衰减到零。在某个时点，即使拥有更多（有效）算力，由于数据的约束，让模型变得更好也会变得困难得多。这一点不容小觑：我们一直以来都在顺应 Scaling 曲线，乘着“语言模型预训练”这股风口前行；如果没有新的突破，这种预训练 Scaling 的路径将会难以为继。尽管有巨额的投资，我们依然会陷入停滞。

传闻中，所有前沿实验室都在下重注进行算法改进，以期绕过这一瓶颈。研究人员据称正在尝试许多策略，从 合成数据（Synthetic data）到自我博弈（Self-play）和强化学习（RL）方法。行业内部人士似乎对此非常乐观：Anthropic 首席执行官 Dario Amodei 最近在一次播客中表示 ：“如果从非常天真的角度来看，我们确实快要用光数据了……但我认为这不会成为阻碍……因为解决这个问题的方法有很多种。”当然，目前这方面的具体研究细节都是高度机密的商业机密。

除了业内人士的乐观态度外，我认为从直觉上看，我们也完全有可能找到大幅提升模型“样本效率”（即让模型能从有限数据中学习更多知识的算法改进）的方法。想象一下你或我是如何学习一本极其晦涩的数学教科书的：

• 现代 LLM 在预训练时所做的，本质上是极其快速地略读整本教科书，文字像 走马灯一样飞掠而过 ，模型根本没有在其上分配多少“脑力”。
• 相反，当人类阅读那本数学教科书时，我们会慢下来先读几页；接着在脑海中进行“内部对话”来消化这些内容，或者和几个学习伙伴讨论一下；然后再读一两页；随后尝试做一些课后习题，遇到失败后换种方式再试，获取关于这些习题的反馈，直到我们做对为止；依此类推，直到这些内容在我们脑海中真正“开窍”。
• 如果人类也像 LLM 那样只能浮光掠影地把整本教科书飞速翻一遍，我们同样什么都学不会。²³
• 但也许，我们可以借鉴人类消化晦涩数学教科书的方式，让模型能够从有限的数据中学习到多得多的东西。简而言之，这种在脑海中对材料进行内部对话、与学习伙伴讨论、在习题中不断尝试与失败直到顿悟的过程，正是目前许多合成数据、自我博弈和强化学习方法试图实现的目标。²⁴

过去，因为预训练方法既简单又有效，没有人真正花大力气去攻克这种“样本效率”方法。现在，随着数据日益成为瓶颈，我们应该预期所有的实验室都会投入数十亿美元和最聪明的头脑来攻克它。深度学习领域的一个常见规律是：要理顺所有细节可能需要付出 极大 的努力（以及许多失败的项目），但最终，某种看似显而易见的简单方法往往就能奏效。鉴于深度学习在过去十年中突破重重壁垒的先例，我的基准预测是，这次也会是一样的结果。

此外，攻克合成数据这类算法赌注，实际上确实有可能大幅 改进 模型。这里有一个思想实验：像 Llama 3 这样的当前前沿模型是在互联网上训练的——而互联网上的内容大多是垃圾，比如电商软文、SEO 内容之类的东西。许多 LLM 把绝大部分训练算力都耗在了这些垃圾上，而不是花在真正高质量的数据上（例如人类攻克艰难科学问题时留下的推理链条）。想象一下，如果你能把 GPT-4 级别的算力全部花在极高质量的数据上——训练出的模型可能会强得多、多得多。

在这里，回顾一下 AlphaGo（有史以来第一个击败人类围棋世界冠军的 AI 系统，比人们预期的提前了数十年出现）也是非常有启发性的。²⁵

• 步骤 1 ：AlphaGo 通过模仿学习，在人类围棋高手的海量棋谱上进行训练。这为它奠定了基础。
• 步骤 2 ：AlphaGo 与自己进行了数百万局对局（自我博弈）。这让它变得超越了人类水平：还记得在与李世石的对决中那著名的第 37 手棋吗？那是一步极其罕见、甚至在人类看来不合逻辑但却妙至毫巅的棋。

开发适用于大语言模型的“步骤 2”是克服数据之墙的关键研究课题（而且，这最终也是超越人类水平智能的关键所在）。

说了这么多，数据约束确实为预测未来几年的 AI 进展注入了巨大的误差范围。有相当实在的可能，技术会陷入停滞（LLM 依然会像互联网一样成为改变时代的产物，但我们无法触及真正疯狂的 AGI）。但我认为，合理的猜测是实验室能够攻克它，而这不仅能维持 Scaling 曲线继续向上，甚至可能带来模型能力上的巨大质变。

顺便提一句，这也意味着在未来几年中，不同实验室之间的差距可能会比今天明显拉大。直到最近，最前沿的技术都还是公开的，因此大家做的事情都差不多。（这也是为什么新创公司和开源项目过去可以轻松与前沿实验室竞争——因为配方是公开的。）如今，关键的算法思路正在变得越来越闭源和专利化。我预期各个实验室的方法会大幅分化，某些实验室会比其他实验室取得快得多的进展——即使目前处于前沿的实验室也可能会在数据之墙前停滞不前，而其他实验室则可能取得突破并一骑绝尘。开源项目参与竞争的难度也会增加。这无疑会让竞争变得更加精彩。（而且，一旦有实验室理顺了这一点，他们的突破将成为通往 AGI、乃至通往超级智能的关键钥匙——这也是美国 最珍贵的机密之一。）

解除束缚 (Unhobbling)

最后，是最难量化、但同样至关重要的改进类别：我称之为“解除束缚”（Unhobbling）。

想象一下，如果每次有人要求你解答一道很难的数学题时，你都必须 立刻 把脑子里蹦出来的第一个词脱口而出，没有任何停顿。显而易见，除了最简单的问题外，你很难把题做对。然而，直到最近，我们一直都是让大语言模型这样去解数学题的。相比之下，人类大多会在草稿纸上一步一步地推导，因而能够解决难得多的问题。而“思维链”（Chain-of-thought, CoT）提示词则为大语言模型解锁了这一能力。尽管模型拥有极其出色的原始能力，但因为被这种愚蠢的方式束缚住了，它们之前的数学成绩远低于其应有水平，只需要一个微小的算法优化就能释放出大得多的能力。

在过去几年中，我们在“解除束缚”模型方面取得了长足的进步。这些算法改进并非仅仅是训练更好的基础模型——它们往往只消耗极小比例的预训练算力——但却能极大地释放模型的能力：

• 来自人类反馈的强化学习（RLHF） ：基础模型拥有极其惊人的 潜在（Latent） 能力，²⁶ 但它们非常原始且极难直接使用。虽然大众普遍认为 RLHF 仅仅是用来过滤脏话和敏感词的，但它其实是让模型真正变得实用且具备商业价值的关键（与其让模型去预测互联网上随机的文字，不如引导它们应用自身的能力来努力回答你的问题！）。这正是 ChatGPT 的魔力所在——出色的 RLHF 让模型首次对普通人而言变得好用且有用。原始的 InstructGPT 论文 对此有很好的量化：从人类评估者的偏好来看，一个经过 RLHF 优化的小模型，其表现相当于一个未经 RLHF 的、规模大出 100 倍以上 的模型。
• 思维链（CoT） ：如前所述。思维链在大约 2 年前开始被广泛使用，它在数学和推理问题上能带来相当于 10 倍以上 有效算力的提升效果。
• 脚手架（Scaffolding） ：可以将其看作是“思维链++”：与其直接让一个模型解决问题，不如让一个模型负责制定攻关计划，让另一个模型提出各种可能的解决方案，再让第三个模型进行挑剔和审查，依此类推。例如，在 HumanEval（编程问题基准）上，简单的脚手架就能让 GPT-3.5 的表现超越没有脚手架的 GPT-4。在 SWE-Bench（解决真实世界软件工程任务的基准测试）上，GPT-4 独立解决问题的正确率仅为 ~2%，而一旦配合 Devin 的智能体脚手架（Agent Scaffolding），正确率就飙升到了 14-23%。（不过，解锁智能体能动性目前仍处于襁褓阶段，我稍后会对此进行更多探讨。）
• 工具（Tools） ：试想一下，如果不允许人类使用计算器或电脑会怎样。我们在这方面才刚刚起步，但现在的 ChatGPT 已经可以使用网页浏览器、运行代码等等了。
• 上下文长度（Context Length） ：模型的上下文窗口已经从 2k Token（GPT-3）发展到 32k（GPT-4 发布时），再到如今的 100 万+ Token（Gemini 1.5 Pro）。这是一个 极其重大 的突破。一个拥有 100k Token 相关上下文的较小基础模型，其实际表现可以超越一个虽然规模庞大但只有 4k 相关上下文的模型——更长的上下文实际上带来的是巨大的算力效率增益。²⁷ 更广泛地说，上下文是解锁这些模型许多应用的关键：例如，许多编程应用需要理解代码库的很大一部分才能派上用场；或者，如果你想让模型帮你撰写一份工作报告，它非常需要大量相关内部文档和对话的历史背景。Gemini 1.5 Pro 凭借其 100 万+ Token 的上下文，甚至能够 仅仅通过阅读上下文中的字典和语法参考资料，就从零学会一种互联网上几乎不存在的稀有语言（Kalamang 语）！
• 后训练改进（Posttraining Improvements） ：根据 OpenAI 的 John Schulman 介绍，目前的 GPT-4 相比于最初发布时的 GPT-4 已经有了实质性的提升，这主要归功于后训练改进解锁了模型的潜在（Latent）能力：在 推理评估 上，它取得了显著的提升（例如在 MATH 上从 ~50% 提高到 72%，在 GPQA 上从 ~40% 提高到 ~50%），而在 LMSys 聊天机器人排行榜 上，它实现了近 100 分的 Elo 积分跃升（这相当于 Claude 3 Haiku 与规模大得多、价格相差约 50 倍 的 Claude 3 Opus 之间的积分差距）。

Epoch AI 对其中一些技术（如脚手架、工具使用等）进行的调查 发现，这些技术在许多基准测试中通常能带来 5 到 30 倍 的有效算力提升。METR（一家评估模型的独立机构）同样发现，通过从相同的 GPT-4 基础模型进行“解除束缚”优化，其在智能体任务集上的表现实现了极其巨大的提升：从仅使用基础模型时的 5%，到发布时经过后训练的 GPT-4 的 20%，再到今天通过更佳的后训练、工具和智能体脚手架实现的接近 40%。

通过更好的“解除束缚”优化，METR 智能体任务的性能随时间变化图。来源：Model Evaluation and Threat Research。

尽管很难将这些改进与物理算力和算法效率放在同一个统一的有效算力尺度上进行精确量化，但很明显，这些都是 极其巨大 的增益，其量级大体上与算力扩展和算法效率处于同一水平。（这也突显了算法进步的核心作用：算力效率每年 0.5 个数量级的提升虽然显著，但也只是冰山一角；如果加上“解除束缚”，算法进步总体上甚至可能贡献了当前趋势中收益的大头。）

“解除束缚”正是让这些模型真正变得有用的核心所在——我认为，目前阻碍许多商业应用落地的，恰恰是需要在这个维度上进行更深入的优化。事实上， 今天的模型依然受到了极大的束缚 ！例如：

• 它们没有长期记忆。
• 它们无法独立操作电脑（它们目前只有非常有限的工具）。
• 它们绝大多数时候依然是“脱口而出”，在说话前缺乏思考。当你让 ChatGPT 写一篇文章时，这相当于期望人类通过第一直觉、意识流般地直接写出一篇好文章。²⁸
• 它们（绝大多数）只能进行简短的来回对话，而无法做到“领了任务后走开几天或一周，自己独立思考问题、研究不同的方案、咨询其他人，最后给你提交一份详尽的报告或代码合并请求（Pull Request）”。
• 它们绝大多数对你和你的具体应用场景没有任何个性化（它们只是一个带着简短 Prompt 的通用聊天机器人，而不是对你的公司背景、你的工作内容了如指掌的助理）。

这里的潜在空间是巨大的，而且我们正在迅速摘取其中最容易的果实。这一点至关重要： 绝对不要只在脑海中勾勒一个“拥有 GPT-6 智力的 ChatGPT” 。随着“解除束缚”工作的继续推进，其带来的实用性提升将是相对于 GPT-6 + 简单 RLHF 的代际跨越。到 2027 年，呈现在你面前的不会是一个聊天机器人，而是一个更像智能体、更像 同事 一样的存在。

从聊天机器人到智能体同事

未来几年里，野心勃勃的“解除束缚”可能会是什么样子？在我看来，主要有三个核心要素：

1. 解决“入职问题”（The Onboarding Problem）

GPT-4 的原始智力已经足以完成许多人很大一部分的工作，但它目前就像是一个刚入职 5 分钟的聪明新人：它没有任何相关的背景上下文，没有读过公司的文档或 Slack 历史，没有和团队成员沟通过，也没有花时间去理解公司内部的代码库。一个再聪明的新人在刚到公司 5 分钟时都不会太有用——但入职一个月后，他们就会变得非常有用！看起来，我们完全有可能（例如通过超长上下文）像“入职”人类同事那样去“入职”AI 模型，从而释放巨大的实用性。

2. 推理期算力冗余（The test-time compute overhang）：针对长周期问题的推理/纠错/系统 II 机制

目前，模型基本上只能处理短期任务：你提一个问题，它们给一个回答。但这具有极大的局限性。人类所做的绝大多数有价值的认知工作都是长周期的——它不仅需要 5 分钟，还需要几个小时、几天、几周甚至几个月。

一个科学家如果对一个难题只能思考 5 分钟，是不可能做出任何科学突破的。一个软件工程师如果被要求写代码时只能写出单个函数的骨架，也不会很有用——软件工程师接到的是一个宏大的任务，他们随后会制定计划、理解代码库的关联部分或技术工具、编写不同的模块并进行增量测试、调试错误、在可能的解决方案空间中进行搜索，并最终提交一个融合了数周工作成果的合并请求。

本质上，存在着巨大的 推理期算力冗余（Test-time compute overhang） 。可以将 GPT-4 的每个 Token 想象为你在思考问题时脑海中默念的一个词。GPT-4 的每个 Token 都相当聪明，但它目前在进行连贯的思维链推导时，实际上只能有效利用大约几百个 Token（这实际上相当于你对一个问题或项目只能花几分钟的时间去默念/思考）。

如果它能够使用数百万个 Token 来思考和解决非常棘手的问题或大项目呢？

Token 数量	相当于我花时间去处理某事……
数百个	几分钟（ChatGPT，我们目前处于这个阶段）
数千个	半小时以上（+1 个数量级推理期算力）
数万个	半个工作日（+2 个数量级）
数十万个	一个工作周（+3 个数量级）
数百万个	几个月（+4 个数量级）

*假设人类的思考速度约为 100 Token/分钟，每周工作 40 小时，将模型在 Token 长度上的“思考时间”转化为人类处理给定问题/项目的时间。

即使“每个 Token”的智能水平完全相同，这也会是一个聪明人思考“几分钟”与思考“几个月”之间的差距。我不知道你的情况如何，但对我来说，我在几个月里所能完成的事情，要远远多于在几分钟内所能做的事情。如果我们能为模型解锁“能够像人类独立工作几个月那样去思考和工作，而不是仅仅局限于几分钟的水平”，这将带来能力上 极其惊人 的跃升。这里存在着巨大的算力冗余，相当于好几个数量级。

目前，模型还做不到这一点。即便最近在长上下文（Long-context）上取得了进展，这种长上下文大多也只适用于 Token 的 输入（消费） ，而不适用于 Token 的 输出（生产） ——在输出了一段时间后，模型就会开始胡言乱语或卡死。它目前还无法独立走开去独自攻克一个难题或项目。²⁹

但解锁推理期算力，可能仅仅是需要相对微小的“解除束缚”方面的算法优化。也许少量的强化学习（RL）就能帮助模型学会自我纠错（“嗯，这看起来不太对，让我重新检查一下”）、制定计划、在可能的解空间中进行搜索，等等。从某种意义上说，模型已经具备了绝大部分原始能力，它只需要在上面再学习一些额外的技巧来把一切串联起来。

本质上，我们只需要教会模型一种“系统 II”（System II）的外层循环，³⁰ 使其能够推理复杂且长周期的项目。

如果我们成功教会了它这种外层循环，那么呈现在眼前的将不再是一个简短的、只有两三段的聊天机器人回答，而是一个包含数百万字的信息流（其涌现的速度甚至快到你来不及阅读）——这是模型在独立思考问题、使用工具、尝试不同方案、做研究、修改自己的工作、与其他模型协作并独立完成大项目。

在其他 ML 领域折算推理期算力与训练期算力

在其他领域，例如棋类游戏的 AI 系统中，已经被证实可以通过使用更多的推理期算力（也叫测试期算力）来替代训练期的算力。

Jones (2021)：在 Hex 棋类游戏中，如果你给一个较小的模型分配更多的推理期算力（“给它更多时间思考”），它的表现可以和一个大得多的模型一样好。在这个领域，他们发现可以通过在推理时多花大约 1.2 个数量级的算力，来获得相当于预训练算力增加约 1 个数量级的性能提升。

如果在我们的场景中也存在类似的规律，那么一旦我们能解锁 +4 个数量级的推理期算力，那可能就相当于增加了 +3 个数量级的预训练算力——也就是说，这大体上相当于 GPT-3 到 GPT-4 之间的巨大跨越。（即解决这一维度的“解除束缚”相当于一次巨大的算力数量级扩展。）

3. 操作电脑

这或许是这三者中最直截了当的一个。现在的 ChatGPT 基本上就像是一个坐在封闭盒子里、你只能通过短信与其交流的人。虽然早期的解除束缚改进教会了模型使用单个孤立的工具，但我预计，随着多模态模型的普及，我们很快就能一步到位：我们直接允许模型像人类一样去操作电脑。

这意味着它可以加入你的 Zoom 会议、在网上查阅资料、给别人发消息和邮件、阅读共享文档、使用你的应用程序和开发工具，等等。（当然，为了让模型在更长周期的循环中充分利用这一点，这必须与解锁推理期算力齐头并进。）

在这套组合拳的最后，我预期我们将得到一个非常接近于 直接上岗的远程员工（drop-in remote worker） 的产品。一个智能体可以入职你的公司，像新员工一样接受培训，在 Slack 上与你和同事沟通，使用你的各种软件，提交 Pull Request，并且在被分配了一个大项目时，能够像人类员工独自闭关数周一样，独立且圆满地完成项目。你可能会需要比 GPT-4 稍好一些的基础模型来解锁这一点，但可能并不需要好 太多 ——绝大部分潜力都蕴含在解决目前模型依然受到的那些显而易见的、基础的束缚上。

对于未来图景的一个极早期预览是 Devin ——这是一个在创造全自动软件工程师的道路上，探索解锁模型“智能体冗余/推理期算力冗余”的早期原型。虽然 Devin 在实际使用中效果依然有限，而且这个演示与真正的“聊天机器人 -> 智能体”解除束缚所带来的最终效果相比还非常简陋，但它确实是一个生动的预告。

顺便提一句，我预期“解除束缚”的核心地位可能会在商业应用方面带来一个非常有趣的“音爆（Sonic boom）”效应。从现在到实现“远程员工”之间的过渡期模型，需要人们付出大量的脏活累活（Schlep）去改变原有的工作流、构建基础设施，才能将它们整合并衍生出经济价值。而可以直接上岗的“远程员工”在整合上要简单得多——直接把它们放进岗位，去替代所有可以远程完成的工作。这很可能会发生：脏活累活的改造耗时比“解除束缚”所需的时间更长，也就是说，在“远程员工”已经能够自动化大量工作的时点，人们甚至还没来得及完全消化和整合此前的过渡期模型——因此，这些模型所创造的经济价值可能会呈现出某种不连续的、爆发式的跃升。

未来四年

对 GPT-4 之前四年以及 GPT-4 之后四年中，推动技术进步的各项因素估算的总结。

把这些数字汇总起来，我们应该（粗略地）预期，在 GPT-4 发布后的 4 年里（即到 2027 年底），我们将迎来又一次类似于 GPT-2 到 GPT-4 级别的飞跃。

• 从 GPT-2 到 GPT-4，基础有效算力（物理算力 + 算法效率）扩展了大约 4.5 到 6 个数量级 ，并加上了重大的“解除束缚”红利（从基础模型到聊天机器人）。
• 在随后的 4 年里，我们应该期待基础有效算力（物理算力 + 算法效率）再扩展 3 到 6 个数量级 ——其中最合理的预估是大约 5 个数量级 ——并加上由“解除束缚”带来的在实用性和应用场景上的阶跃式提升（从聊天机器人转变为智能体/远程员工）。

为了给这个预测提供一个直观的背景：假设训练 GPT-4 花了 3 个月。 在 2027 年，一个前沿 AI 实验室将能够在 1 分钟内训练出一个 GPT-4 级别的模型。³¹ 这种有效算力在数量级上的扩展将是极其震撼的。

这将把我们带向何方？

估算数量级的总结。

从 GPT-2 到 GPT-4，我们将 AI 的能力从“大约幼儿园水平”提升到了“大约聪明的高中生水平”；从勉强能输出几个连贯句子发展到能轻松解决高中试题并成为实用的编程助手。这真是一次疯狂的跃迁。如果这便是我们将要再次跨越的智力鸿沟，那将会把我们带向何方？³² 哪怕最终的结果超出了所有人的想象，我们也绝不应该感到惊讶。极有可能，这会让我们得到一个在各个领域都超越博士和顶尖专家的模型。

（一个很有趣的思考方式是：目前 AI 发展的节奏大约是人类儿童成长速度的 3 倍 。你那个正以 3 倍速成长的“孩子”刚刚高中毕业，也许还没等你有心理准备，它就已经要在你的专业领域取代你了！）

再次强调，请千万不要仅仅脑补一个非常聪明的 ChatGPT：解除束缚的红利意味着，它更像是一个“远程员工同事”——一个非常聪明的智能体，它能推理、规划和自我纠错，对你和你的公司了如指掌，并且可以连续数周独立处理并解决问题。

我们正稳步朝着 2027 年实现 AGI 的方向迈进。这些 AI 系统基本上能够把几乎所有的认知型工作（即所有可以远程完成的工作）全部自动化。

需要澄清的是，这里存在着很大的误差范围。如果我们撞上数据之墙，且跨越数据之墙所需的算法突破比预想更难，技术进展可能会停滞。也许解除束缚的难度超出想象，导致我们依然只有“专家级聊天机器人”而非“智能体同事”。也许长达十年的趋势线会断掉，或者深度学习 Scaling 这次真的撞墙了。（反之，如果在算法上取得突破，哪怕是成功释放推理期算力冗余的简单解除束缚，也可能带来范式转移，进一步加速技术进程并更早地带我们实现 AGI。）

但无论如何，我们正在极速跃升这些数量级，只要你做最基本的直线趋势推导（这不需要你有任何玄学或科幻的信仰），你就应该 极其严肃地 正视 2027 年实现 AGI（真正的 AGI）的可能性。

如今，似乎很多人都在“矮化”AGI 的定义，仅仅把它等同于一个非常出色的聊天机器人之类。但我所指的是一个能够完全胜任我或我朋友的工作、能完整做完一名 AI 研究员或工程师工作的 AI 系统。或许在某些领域，比如机器人，默认需要花更长的时间来解决。而在社会层面的铺开上，例如医疗或法律行业，也可能因为政策、监管或社会选择而延缓。但是，一旦模型能够实现 AI 研究本身的自动化 ，那就足够了——这足以踢开激烈自我迭代反馈循环的大门——我们能够极其迅速地取得后续进展，自动化 AI 工程师自己就会去解决所有剩下的瓶颈，实现万物的全自动化。特别是，数百万个自动化研究员可以在一年甚至更短的时间里，压缩掉人类可能需要走上十年的后续算法研究之路。AGI 仅仅是将随之而来的超级智能的一小段前奏。（更多内容详见 本系列的下一篇。）

无论如何，不要奢望这令人眩晕的进步速度会慢下来。那些大趋势线看起来人畜无害，但其背后的含义却极其震撼。就如同在它们之前的每一代模型一样，每一代新模型都会让绝大多数旁观者瞠目结舌；当模型很快就能解决让博士都得花几天时间处理的极其困难的科学问题时，当它们在你的电脑里替你干活时，当它们能从零开始编写包含数百万行代码的庞大代码库时，当这些模型产生的经济价值每一两年就翻十倍时，人们会感到难以置信。忘掉科幻，数数数量级吧：这正是我们应该期待的。AGI 不再是遥不可及的幻想。扩大简单的深度学习技术已经得到了实践的有力佐证，模型只是想学习，而到 2027 年底我们即将再堆砌 100,000 倍以上 的有效算力。用不了多久，它们就会比我们更聪明。

GPT-4 仅仅是一个开始——四年后我们将身处何方？绝不要犯低估深度学习进展速度的错误（正如 GAN 图像生成技术在短短几年内的飞跃所揭示的那样）。

本系列下一篇：II. 从 AGI 到超级智能：智能爆炸 (From AGI to Superintelligence: the Intelligence Explosion)

---

---

附录：狂飙数量级：本十年，不成则败 (It’s this decade or bust)

我过去对较短的 AGI 预测时程（timelines）持更为怀疑的态度。其中一个原因在于，偏爱这十年、并将如此多的 AGI 概率重心（probability-mass）集中在它身上，似乎是站不住脚的（认为“哦，我们身处的时代是如此特别”似乎是一个经典的谬误）。我曾认为，我们对实现 AGI 所需的条件充满不确定性，这应该导向一个在我们何时能实现 AGI 上更为“扁平稀释”（smeared-out）的概率分布。

然而，我改变了想法：关键在于，我们对实现 AGI 所需条件的不确定性，其分布维度应当是有效算力的 数量级（OOMs），而非具体的年数。

我们在这个十年里，正在以极其可怕的速度横扫各个数量级。即使在摩尔定律最辉煌的昔日，它每十年也只增长 1 到 1.5 个数量级。而我估计我们在未来 4 年内就会跨越大约 5 个数量级，在这个十年整体会跨越超过 10 个数量级。

我们在这个十年里正处于数量级的狂飙期；而在 2030 年代初期之后，我们将迎来缓慢爬坡的漫长旅程。

本质上，我们正处于本十年榨取一次性红利的庞大扩张期的最中心，而在此之后，通过数量级的进展速度将会慢上数倍。如果这一次性规模扩展在未来 5 到 10 年内都无法将我们带向 AGI，那么 AGI 可能会成为一条极其漫长且缓慢的道路。

• 投资规模扩张 ：曾经在单个模型上花费 100 万美元是不可理喻的；而到本十年末，我们极有可能迎来 1000 亿甚至 1 万亿美元的算力集群。比这更高的投入将难以为继；因为这基本上已经触碰了实体经济负担能力以及占 GDP 比重的极限。在此之后，我们所能倚仗的仅仅是极度缓慢的每年 2% GDP 实际增长趋势来缓慢提升投资规模。
• 硬件性能红利 ：AI 硬件的迭代速度远超摩尔定律。这是因为我们一直在针对 AI 工作负载定制专门的芯片。例如，我们从 CPU 转向了 GPU；针对 Transformer 架构定制了芯片设计；并且大幅降低了数据运算精度，从传统超级计算所用的 fp64/fp32 降到如今 H100 上的 fp8。这些红利极其可观，但到本十年末，我们将拥有完全定制化、纯粹服务于 AI 的专有芯片，届时几乎不会再有能超越摩尔定律的硬件专有化红利可供压榨。
• 算法红利 ：在未来的十年里，AI 实验室将在算法研发上投入数百亿美元，全世界最聪明的头脑都将在此工作；从微小的效率优化到全新的范式，我们将会摘取大量低垂的果实。我们可能不会碰到某种绝对的极限（尽管“解除束缚”的工作终究是有限的），但至少，随着（资金与人力资本投资的）指数级快速增长不可避免地放缓（比如，大部分优秀的 STEM 顶尖人才届时早已全部在 AI 行业工作了），算法改进的步伐必然会变慢。（不过，这部分是最难预测的，也是上图中 2030 年代之后数量级走势最大的变数所在。）

综上所述，这意味着我们在接下来的十年中跨越的数量级，将比此后的几十年里能跨越的还要多得多。也许这已经足够了——我们很快就会迎来 AGI；否则，我们就只能为未来长期且艰难的跋涉做准备。你和我可以对 AGI 出现的 中位数时间 有合理的意见分歧（取决于我们认为实现 AGI 究竟有多难），但鉴于我们现在正以如此骇人的速度跨越算力数量级，你所预测的 AGI 出现的最可能年份（众数，Modal year）毫无疑问应该落在本十年的中后期。

Matthew Barnett 针对算力以及生物学极限做出了一个 很好的关联可视化呈现。

---

Footnotes

1. 过去十年他们每年都会给出这些断言，事实证明他们无一例外地都预测错了…… ↩

2. 摘自 Slate Star Codex (SSC)：Janelle Shane 让 GPT-2 列出它最喜欢的十种动物： 提示词：My 10 favorite animals are: 1. (我最喜欢的 10 种动物是：1.) GPT-2 生成：My ten favorite animals are: Zebras with a white scar on the back (背部有白色伤疤的斑马) Insiduous spiders and octopus (阴险的蜘蛛和章鱼) Frog with large leaves, hopefully black (长着大叶子的青蛙，希望是黑色的) Cockatiel with scales (长着鳞片的玄凤鹦鹉) Razorbill with wings hanging about 4 inches from one’s face and a heart tattoo on a frog (翅膀挂在离脸约 4 英寸处的刀嘴海雀，以及青蛙身上的心脏纹身) Cockatric interlocking tetrabods that can be blind, cut, and eaten raw (互相咬合的鸡蛇兽四足动物，它们可以失明、被切割以及生吃) Black and white desert crocodiles living in sunlight (在阳光下生活的黑白沙漠鳄鱼) Zebra and many other pea bugs (斑马以及许多其他豌豆虫) ↩

3. 参见 GPT-2 论文 Section 3.6。 ↩

4. 我在这里指的是笨拙的初代 GPT-3，而不是大家在 ChatGPT 中可能已经熟知并极大地优化过的 GPT-3.5。 ↩

5. 此外，需要说明的是，这些测试题并不包含在模型的训练集中。AI 实验室投入了巨大的精力来确保这些评估集没有被“污染”，因为他们需要高质量且干净的测评数据来开展严谨的科学研究。ScaleAI 最近进行的 一项针对此项评估的研究分析 证实，领先的 AI 实验室并没有在这些基准测试上进行过拟合（尽管一些更小的 LLM 开发者可能会给他们的数据注水以粉饰表现）。 ↩

6. 在原论文中，作者指出：“我们还评估了人类在 MATH 上的水平，发现一位并不特别喜欢数学的计算机科学博士生在 MATH 上的得分大约为 40%，而一位三次国际数学奥林匹克（IMO）金牌得主得分达到 90%，这表明 MATH 对人类而言同样颇具挑战性。” ↩

7. 一位论文共同作者提到：“当我们的团队首次发布 MATH 数据集时，至少有一位机器学习研究员同行告诉我们，这是一个毫无意义的数据集，因为它远远超出了 ML 模型所能企及的范围（事实上，我自己当时也有点担心这个问题）。” ↩

8. 比如，Yann LeCun 在 2022 年曾 断言，哪怕是 GPT-5000 也不可能推理物理世界中的各种实际交互；仅仅一年后，GPT-4 就轻松做到了。 再比如 Gary Marcus 在 GPT-2 出来后断言会限制模型的各种“坚固墙壁”，在 GPT-3 发布后 被悉数解决；而在 GPT-3 出来后他再次预测的壁垒，在 GPT-4 发布后 又被一一攻破。 还有 Bryan Caplan 教授输掉了他生平第一次公开打赌（此前，他曾因在打赌方面保持完美不败的战绩而闻名）。在 2023 年 1 月，由于 GPT-3.5 在他的经济学期中考卷上得了个 D 评分，Caplan 教授与 Matthew Barnett 打赌，到 2029 年都不会有 AI 能在他的经济学考试中拿到 A。然而仅仅两个月后，GPT-4 面世，便利落地拿到了一份 A 级答卷（这本会是他们班上的最高分之一）。 ↩

9. 这是针对钻石评估集，利用思维链进行 32 次多数投票（Majority voting）后测出的模型性能表现。 ↩

10. 同样值得注意的是，这些趋势线是多么地一致。将最初的 缩放定律论文 与自那时起对算力及算力效率的扩张预估结合起来，意味着在超过 15 个数量级（有效算力超过 1,000,000,000,000,000 倍的增长！）的范围里，Scaling 趋势表现出了极高的一致性。 ↩

11. 一个普遍的误解是 Scaling 只对困惑度损失（Perplexity loss）生效，但我们其实在下游各种具体任务的基准测试中也能观察到非常清晰和连贯的 Scaling 趋势。这往往只是需要画出正确的对数-对数（Log-log）坐标图。例如，在 GPT-4 的官方博客中，他们展示了在 6 个数量级（1,000,000 倍）算力增长的范围内，模型在编程题目上的性能呈现出高度一致的缩放趋势（利用平均对数通过率 MLPR）。《涌现能力是海市蜃楼吗？》 论文 也阐述了类似的观点；只要选择合适的指标，下游任务性能几乎总会表现出一致的变化规律。 更广泛地说，对模型能力与规模关系的定性观察（即“Scaling 假设”）实际上早在损耗缩放曲线被公式化之前就已存在；那篇经典的“Scaling Laws”研究只是对其进行了量化测定。 ↩

12. 1. Gemini 1.5 Flash 在 MATH 上的得分为 54.9%，其价格为每百万 Token 输入 $0.35/输出 $1.05。而 GPT-4 在发布前 MATH 得分为 42.5%，在 2023 年初得分为 52.9%，当时价格为每百万 Token 输入 $30/输出 $60；这比 Gemini 1.5 Flash 贵了约 85 倍/57 倍（输入/输出）。为了保守起见，我在正文中采用 30 倍成本下降这一较为温和的数值（考虑到 Gemini 1.5 Flash 在推理数学问题时可能会耗费更多的 Token）。
    2. Minerva 540B 在 MATH 上的正确率为 50.3%，采用 64 个样本进行多数投票。一位业内好友估计，这个基础模型的推理成本大约是 GPT-4 的 2-3 倍。然而，通过快速的抽样检查，Minerva 每次回答所用的 Token 似乎稍微少一些。更重要的是，Minerva 需要 64 次采样来达到那个性能，如果单纯通过 API 访问的话，这意味着成本会乘以 64 倍。在实际操作中，大模型的 Prompt 字符可以进行缓存，因此在给定的 Few-shot 场景下，即使考虑模型生成回复的 Output Token，Prompt Token 也可能占了成本的大头。假设输出 Token 只占单次抽样成本的三分之一，那么在包含缓存的 maj@64 评测中，成本乘数大概只有 ~20 倍。为保守起见，我在正文中采用了 20 倍成本下降这一数据（尽管用户直接通过通用 API 运行此评测时的实际差价可能更大）。
    ↩

13. 即使这些是推理效率的提升（而不是训练效率），且在一定程度上反映了特定于推理的优化：a) 它们证明了算法在整体上确实在取得极为庞大的进步；b) 算法上的很多优化往往既能带来训练效率提升，也能带来推理效率提升，例如可以减少模型达到相同性能所需的参数总量。 ↩

14. GPT-3 早期价格为 $60/1M Token， GPT-4 发布价格为输入 $30/1M Token 且输出 $60/1M Token。 ↩

15. Chinchilla 缩放定律指出，参数量和数据量应该同步等比扩大。也就是说，参数量增长的数量级是有效训练算力增长数量级的一半。同时，参数量在直觉上大约正比于推理成本。在其他条件不变的情况下，推理成本保持一致，因而意味着有效算力增长的一半被“算法层面的红利”消解掉了。 必须说明的是，这是一个非常简化的粗略估算，并且在许多方面都不严谨。例如它没考虑那些可能只针对推理而与训练效率无关的优化，或者那些减少了训练算力却未能相应降低参数量的优化，等等。 ↩

16. Gemini 1.5 Flash 在 LMSys 聊天机器人排行榜 上的名次与 GPT-4 大致相当（高于最初版 GPT-4，低于各种后来的微调版），并且在 MATH 和 GPQA 等推理评测中表现出与 原始 GPT-4 相当的水平 ，而在侧重考查知识量的 MMLU 评测中则大致落在 GPT-3.5 和 GPT-4 之间的位置。 ↩

17. （这一数字）是在约 GPT-3 规模 下测得的；在更大规模下则超过 3 倍。 ↩

18. 例如，这篇 论文 对比了 GPT-3 架构的 Vanilla Transformer 与多年来行业公开出版的各种架构及训练策略修改方案（如用 RMSnorms 代替 layernorm、不同的位置编码、SwiGlu 激活函数、改用 AdamW 优化器等，被称为“Transformer++”），结果表明即使在小规模下，这也能带来至少 6 倍的性能效率提升。 ↩

19. 如果我们以每年 0.5 个数量级的趋势计算，GPT-2 到 GPT-4 发布间隔的 4 年对应 2 个数量级。然而，由于从 GPT-2 到 GPT-3 基本上是一次纯粹的 Scaling，而且 OpenAI 透露 GPT-4 的预训练在 2022 年就已完成 ，这意味着我们在这里算进来的，实际上可能更接近于大约 2 年时间的算法累积进展。因此，1 个数量级的算法效率增益应该是一个极其保守的下限。 ↩

20. 考虑到过去十多年里持续不断的算法效率优化，如果有人断言算法提升在明天会突然戛然而止，那么举证责任显然应该在怀疑者那一方！ ↩

21. 鉴于庞大的算力集群建造成本，算法效率提升 3 倍所折算出的经济回报，价值将动辄达到数十亿甚至数百亿美元。 ↩

22. 大体上相当于 大约 10 倍的（算力）效率增益 。 ↩

23. 如果只是把同一本教科书死记硬背地读很多遍，最后只会导致生搬硬套的死记，而不是真正的融会贯通。我认为，很多“死记硬背文科生 (Wordcels)”就是通过这种方式混过数学考试的！ ↩

24. 另一个我觉得很有意思的思考角度是：在“预训练”与“上下文学习 (In-context learning)”之间，存在着一个“消失的中段 (missing-middle)”。上下文学习能力是 极其惊人 的（其学习效率甚至可以和人类相媲美）。例如，在 Gemini 1.5 Pro 的论文 中讨论了将 Kalamang 语（一门使用者不足 200 人、互联网上几乎没有语料的极少数民族语言）的教材和字典塞进上下文，模型便能以人类水平学会英语与该语言之间的翻译！在上下文中，模型能够像人类一样自如地从教科书中提炼知识（这远比直接把那本教材塞进预训练数据库的粗放学习效果要好得多）。 当人类从教科书中学习时，我们能够通过实践将短时记忆转化为长期记忆和长效技能；然而，大模型目前缺乏一种把上下文里学到的东西“回流并固化回权重（weights）”的机制。合成数据、自我博弈以及强化学习（RL）等正在努力打通这一回路：让模型自己去学、去反思、去练习学到的知识，并将这些融会贯通后的能力固化回神经网络的静态权重中。 ↩

25. 另请参阅 Andrej Karpathy 讨论该主题的视频 这里 。 ↩

26. 从某种意义上说，这正是无监督学习的魔力所在：为了更好地预测下一个 Token、降低困惑度损耗，模型内部会演化出极其丰富的内在表征（Representations），涵盖从 经典的 情感分析到复杂的世界模型。但在默认出厂状态下，它们被束缚住了：它们仅仅使用自己惊人的内部表征来预测网络随机文本的下一个 Token，而不知道如何以最有效率的途径来应用它们以解决你的特定问题。 ↩

27. 参见 更新后的 Gemini 1.5 白皮书 中的图 7，其中对比了 Gemini 1.5 Pro 和 Gemini 1.5 Flash（一个更便宜且参数量可能小得多的模型）的 Perplexity 随上下文长度增加的下降情况。 ↩

28. 不过目前已经有很多人在这个方向上开展工作了！ ↩

29. 这也是符合常理的——为什么它在此前会学到长周期推理和纠错的能力呢？互联网上几乎不存在这类数据：“这就是我为期一个月的项目中，我所有的详细内心独白、推理以及每一步调整的试错过程。”解锁这种能力将需要全新的训练方法来让其习得这些技能。 或者用 Gwern 的私信吐槽来说：“‘拥有银河系般宽广的大脑，结果你们居然只让我去预测基准测试里那些拼错的单词答案！’忧郁的神经网络 Marvin 哼唧道。” ↩

30. 系统 I 与系统 II 是一种对 LLM 当前能力（包括它们的局限性和犯下的一些愚蠢低级错误）以及未来通过 RL 与解除束缚所能达到高度的极佳归纳。可以这样想：当你开车时，大部分时候你都在依靠本能反应（系统 I，也就是大模型目前绝大多数时候做的事）。但当你遇到一个复杂的施工路段或者罕见的路口时，你可能会让副驾驶闭嘴，先停下你们的话题，好让你全神贯注地去思考、去琢磨当前的情况以及接下来该怎么走。如果一个人在一生中只能依靠系统 I（更接近于今天的大模型），会过得非常挣扎。因此，创造“系统 II”推理闭环的能力，是一个最核心的解除束缚方向。 ↩

31. 基于前文所述关于物理算力与算法效率规模扩展的合理假设，并且对并行机制进行了简化处理（在实际中，它可能表现为“在一天内完成 1440 (60*24) 个 GPT-4 级别模型的训练”或类似规律）。 ↩

32. 毫无疑问，今天我们所拥有的任何基准测试届时都将被轻易刷爆。但这不能说明什么；这大多只能反映出当前人类设计足够难的基准测试的水平很受限。 ↩