2027年AGI、中美超级智能竞赛与历史的回归 (Leopold Aschenbrenner)

目录

• 万亿美元集群与解除束缚
• AI 2028：历史的回归
• 间谍活动与美国的人工智能主导地位
• 人工智能的地缘政治影响
• 国家主导与私人主导的 AI
• 19岁成为哥伦比亚大学优秀毕业生代表
• OpenAI 内部发生了什么
• 加速AI研究进展
• 对齐
• 关于德国，以及理解外国视角
• Dwarkesh 的移民故事与播客之路
• 创办 AGI 对冲基金
• 二战的教训
• 尾声：腓特烈大帝 (Frederick the Great)

万亿美元集群与解除束缚

Dwarkesh： 今天我和我的朋友 Leopold Aschenbrenner 聊天。他在德国长大，19 岁就以哥伦比亚大学年级第一的成绩毕业。之后，他度过了一个非常有趣的间隔年，这个我们稍后会谈到。然后，他加入了 OpenAI 的超级对齐团队，愿该团队安息。

现在，凭借来自帕特里克·科里森 (Patrick Collison)、约翰·科里森 (John Collison)、丹尼尔·格罗斯 (Daniel Gross) 和纳特·弗里德曼 (Nat Friedman) 的一些锚定投资，他正在创办一家投资公司。

Leopold，你的起步是慢了点，不过人生还长。我倒不太担心，你迟早会补回来的。感谢你参加本期播客。

Leopold： 谢谢。我第一次发现你的播客时，你最受欢迎的一集只有几百播放量。能一路见证你的发展轨迹令人惊叹。很高兴能来这里。

Dwarkesh： 在肖尔托和特伦顿的那期节目中，我提到关于 AI 的很多知识都是通过与他们交谈学到的。这个三人组的第三位，可能也是最重要的一位，就是你。我们现在要把所有的事情都记录下来。

这是我想记录的第一件事。给我讲讲万亿美元集群。

为了播客的背景，我应该提一下。今天你要发布一个名为《情境感知》(Situational Awareness) 的系列文章。我们将深入探讨。关于它的第一个问题是，给我讲讲万亿美元集群。

Leopold： 与硅谷最近出现的大多数事物不同，AI 是一个工业化过程。下一个模型不仅需要一些代码。它需要建立巨大的新集群。它需要建立巨大的新发电厂。很快，它将涉及建立巨大的新晶圆厂。

自从 ChatGPT 出现以来，这种非同寻常的技术资本加速已经启动。正好在去年今天，英伟达召开了他们第一次轰动一时的财报电话会议。盘后股价上涨了 25%，所有人都惊呼，“天哪，AI 是来真的。”

在一年内，英伟达数据中心的季度营收从几十亿美元飙升至 250 亿美元，并且还在继续上升。大型科技公司的资本支出正在猛增。

这很有趣。正在发生疯狂的争夺，但在某种意义上，这只是图表上直线的延续。几乎十年来一直存在着一个长期趋势，即用于最大型 AI 系统的训练算力每年增长大约半个数量级。

只要把这个趋势向前推演。GPT-4 据报道在 2022 年完成了预训练。在 SemiAnalysis 上，有传言称其集群规模约为 25,000 个 A100。那大约是一个 5 亿美元的集群。非常粗略地算，需要 10 兆瓦的电力。

只要向前推演半年。到 2024 年，那就是一个 100 兆瓦、拥有 100,000 个等效 H100 的集群，成本达到数十亿美元。

再向前推演两年。到 2026 年，那就是一吉瓦，相当于一个大型核反应堆的规模。那就像胡佛水坝的发电量。其成本达数百亿美元，需要一百万个等效 H100。

到 2028 年，那就是一个 10 吉瓦的集群。那比美国大多数州的用电量还要多。那就是一千万个等效 H100，耗资数千亿美元。

到 2030 年，你将看到耗电 100 吉瓦的万亿美元集群，占美国总发电量的 20% 以上。那就是一亿个等效 H100。

那仅仅是训练集群。还有更多的推理 GPU。一旦有了产品，大多数将是推理 GPU。美国的发电量几十年来几乎没有增长。现在我们真的要迎来一场狂飙了。

Dwarkesh： 当我邀请马克·扎克伯格 (Mark Zuckerberg) 参加播客时，他声称 AI 的进展本身并没有陷入停滞，而是会受到能源限制的瓶颈制约。具体来说，他说，“哦，吉瓦级数据中心，我们难道要建另一个三峡大坝吗？”

根据公开报道，有些公司正在规划 1 吉瓦级别的数据中心。对于 10 吉瓦的数据中心，谁能建成？100 吉瓦的中心就像是一个国家级项目。你要把它全塞进一个物理数据中心吗？这怎么可能？扎克伯格忽略了什么？

Leopold： 六个月前，10 吉瓦还是人们热议的话题。现在，人们已经向前看了。10 吉瓦正在成为现实。《The Information》 报道称，OpenAI 和微软正在规划一个价值 1000 亿美元的集群。

Dwarkesh： 那是 1 吉瓦？还是 10 吉瓦？

Leopold： 我不知道，但如果你尝试估算 10 吉瓦集群的成本，那将是几千亿美元。大概就是这个规模，而且他们正在规划。这不仅仅是我疯狂的想法。AMD 预测到 2027 年 AI 加速器市场将达到 4000 亿美元。AI 加速器仅仅是支出的一部分。

到 2027 年，我们的 AI 总投资非常有望达到 1 万亿美元。万亿美元集群将需要进一步的加速。我们看到了 ChatGPT 释放了多大的能量。每一代模型都会非常疯狂，并推动奥弗顿之窗。

然后收入就会进来。这些都是前瞻性投资。问题是，它们有回报吗？我们估计 GPT-4 集群的成本约为 5 亿美元。人们常犯的一个错误是，认为 GPT-4 耗资 1 亿美元。那仅仅是租用价格。如果你要建造最大的集群，你必须为整个集群的建设买单。你不能只租用三个月。

Dwarkesh： 不能吗？

Leopold： 一旦你试图进入数千亿美元的规模，你的年收入就必须达到 1000 亿美元左右。这就是对于大型科技公司来说变得非常有趣的地方，因为它们的收入规模在数千亿美元级别。

100 亿美元没问题，足以收回 2024 年规模训练集群的成本。真正让大型科技公司赚得盆满钵满的，是每年耗资 1000 亿美元的时候。问题在于，每年从 AI 中获得 1000 亿美元收入的可行性有多大？这比现在要多得多。如果你像我一样相信 AI 系统的发展轨迹，这并不算太疯狂。

大约有 3 亿微软 Office 订阅用户。他们现在有了 Copilot。我不知道他们的售价是多少。假设你向三分之一的微软 Office 订阅用户出售每月 100 美元的 AI 附加服务。那就是 1000 亿美元。每月 100 美元是一大笔钱。

Dwarkesh： 对于三分之一的 Office 订阅用户来说，这是一笔不小的数目。

Leopold： 对于普通的知识工作者来说，这相当于每月省下几个小时的生产力。除非你认为 AI 的进展会相当糟糕，否则每月省出几个小时并不是难事。

Dwarkesh： 好吧，我们先假设这一切成立。未来几年会发生什么？在 1 吉瓦数据中心上训练的 AI 能做什么？在 10 吉瓦数据中心上训练的 AI 呢？请为我勾勒一下未来几年 AI 的发展轨迹。

Leopold： 我的最佳估计是，当集群规模达到 10 吉瓦量级时，我们将实现真正的通用人工智能 (AGI)。算力在某种程度上被高估了。稍后我们会谈到这点。

到 2025 至 2026 年，我们将获得基本比大多数大学毕业生更聪明的模型。许多经济效用取决于解除束缚。模型很聪明，但受到限制。有聊天机器人，也有能够使用计算机并执行代理式的长期规划任务的系统。

到 2027 至 2028 年，它将变得和最聪明的专家一样聪明。解除束缚的发展轨迹表明，它将变得更像一个代理，而不是一个聊天机器人。它几乎就像一个随时可以投入工作的远程员工。

这就是关于经济回报的问题。中间过渡阶段的 AI 系统可能非常有用，但要集成它们需要耗费大量的苦差事。在商业用例中，你可以用 GPT-4 或 GPT-4.5 做很多事情，但你必须改变你的工作流程才能发挥它们的效用。这是一种非常具有泰勒·考恩 (Tyler Cowen) 风格的观点。它需要很长时间才能普及。我们在旧金山，所以忽略了这一点。

但在某种意义上，音爆般的飞跃恰恰来自这些系统想要的集成方式。中间过渡系统本来也能做到，但得费很大力气。还没等你费力把它们集成进去，更强大的、解除了束缚的系统就已经来了。

它们是代理，是随时可以投入工作的远程员工。你像对待同事一样与它们互动。你可以和它们开 Zoom 会议，用 Slack 交流。你可以让它们做一个项目，它们会去写初稿，获取反馈，对代码进行测试，然后再回来。然后你可以告诉它们更多事情。这将容易集成得多。

你可能需要一点性能过剩，才能让过渡变得轻松并收获收益。

Dwarkesh： 性能过剩是什么意思？模型能力上的过剩吗？

Leopold： 是的，中间过渡模型可以做到，但需要费很大力气。随时可以投入工作的远程员工级 AGI 可以自动化认知任务。中间过渡模型本来可以让软件工程师更高效。但是软件工程师会采用它吗？

有了 2027 年的模型，你就不需要软件工程师了。你可以像对待软件工程师一样与它互动，它就能完成软件工程师的工作。

Dwarkesh： 我上一期播客的嘉宾是约翰·舒尔曼 (John Schulman)。

我当时问到了这个问题。去年发布了这些模型，似乎没有哪一个显著超越了 GPT-4，肯定没有达到那种以代理的方式像同事一样与你互动的程度。他们只会吹嘘自己在 MMLU 上高出了几分。即使是 GPT-4o，能像斯嘉丽·约翰逊 (Scarlett Johansson) 一样说话确实很酷（我想现在不能了），但它不像个同事。

它们擅长回答问题是合理的。它们拥有如何补全维基百科文本的数据。去哪里寻找理解 Zoom 会议的等效训练数据呢？回到你提到的关于 Slack 对话的观点，它如何利用上下文来弄清楚你正在从事的那个连贯的项目？这些训练数据从何而来？

Leopold： 未来几年 AI 进展的一个关键问题是，解锁测试时算力悬垂有多难。现在，GPT-4 可以通过思维链处理几百个词元。这已经是一个巨大的进步。以前，回答数学问题就像是盲目开火。如果你尝试通过说出脑海中浮现的第一件事来回答数学问题，你表现不会很好。

GPT-4 会思考几百个词元。如果我每分钟思考 100 个词元，那就好比 GPT-4 的处理过程。这相当于我思考了三分钟。假设 GPT-4 可以思考数百万个词元。那在单个问题上的测试时算力就增加了 4 个数量级。它现在做不到。它会卡住。它写一些代码，可以做一点迭代调试，但最终会卡住并无法纠正自己的错误。

存在很大的悬垂。在机器学习的其他领域，有一篇关于 AlphaGo 的好论文，阐述了你可以权衡训练时间和测试时的算力。如果你可以使用多出 4 个数量级的测试时算力，那几乎就相当于一个大 3.5 个数量级的模型。

再说一次，如果是每分钟 100 个词元，几百万个词元就等于几个月的工作时间。在几个月的工作时间里，你能做的不仅仅是立刻得到一个答案。问题在于解锁这一点有多难？

在预期 AI 进展迅速的世界里，这并不难。可能不难的原因是只需学习几个额外的词元。你需要学习像错误纠正这样的词元，比如“啊，我犯了个错误，让我再想一想。”你需要学习计划词元，比如“我要先制定一个计划。这是我的行动方案。我要写个草稿，然后批评我的草稿并进行思考。”这些都是模型现在做不到的，但问题是这有多难。

通往代理有两条路径。肖尔托在你的播客上时，他谈到了规模扩展会带来更多个 9 的可靠性。这是一条路径。另一条路径是解除束缚的路径。它需要学习这种系统 2 过程。如果它能学会，它就能使用数百万个词元并进行连贯的思考。

打个比方。当你开车时，大部分时间你都处于自动驾驶状态。有时你会遇到奇怪的施工区或路口。有时我女朋友坐在副驾驶座上，我会说“啊，安静一下，我需要搞清楚发生了什么。”

你从自动驾驶切换到系统 2，并思考如何应对。规模扩展提升了系统 1 的自动驾驶能力。实现代理的蛮力方法是改进那个系统。如果你能让系统 2 运转起来，你就能迅速跃升到更具代理化特征的阶段，测试时算力悬垂将被解锁。

Dwarkesh： 有什么理由认为这是一件容易成功的事？是否存在某种容易促成系统 2 思考的损失函数？具备系统 2 思考的动物并不多。进化花了很长时间才赋予我们系统 2 思考的能力。

预训练拥有数万亿个词元的互联网文本，这个我理解。只要拟合这些文本，就能免费获得所有这些训练能力。有什么理由认为这种解除束缚很容易呢？

Leopold： 首先，预训练是神奇的。它为实现通用智能模型赋予了巨大的优势，因为你可以预测下一个词元。但存在一个常见的误解。预测下一个词元使模型能够学习极其丰富的表征。表征学习的特性正是深度学习的魔力所在。模型不仅仅学习统计假象，而是学习世界模型。这就是它们能够泛化的原因，因为它们学习了正确的表征。

当你训练一个模型时，你获得了这个有用的原始能力集合。从 GPT-2 到 GPT-4 的解除束缚过程，就是获取这个原始能力集合，并通过基于人类反馈的强化学习 (RLHF) 将其塑造成一个优秀的聊天机器人。那是一个巨大的成功。

在最初的 InstructGPT 论文中，比较使用 RLHF 和不使用 RLHF 的模型，在人类偏好评分上相当于模型规模增加了 100 倍。它开始能够进行简单的思维链等操作。但你仍然握有所有这些原始能力的优势，而其中还有巨大的潜力没有被发挥出来。

这种预训练的优势也是与机器人技术的区别所在。人们过去常说这是一个硬件问题。硬件问题正在得到解决，但你没有通过预训练进行引导的这种巨大优势。你没有所有这种可以进行的无监督学习。你必须从一开始就进行强化学习自我对弈。

问题是为什么强化学习和解除束缚可能会起作用。引导是一种优势。你的 Twitter 简介正在被预训练。你不再被预训练了。你在小学和高中时被预训练过。在某个阶段，你过渡到了能够自学。在小学时你做不到。高中可能是一个起点，到了大学，如果你聪明的话，你可以自学。模型才刚刚开始进入那个阶段。

还需要稍微扩大一点规模，然后你要弄清楚在上面添加什么。这并非易事。很多深度学习技术在事后看来似乎显而易见。存在一些明显的想法集合。有些想法看起来有点蠢，但确实管用。有很多细节你需要做对。我们下个月还无法实现这一点。还需要一段时间去探索。

Dwarkesh： 对你来说，一段时间大概是半年。

Leopold： 我不知道，在六个月到三年之间吧。但这是可能的。这也与数据墙的问题密切相关。关于自学，有一种直觉。预训练有点像老师在给你讲课，各种词汇飞速掠过。你只能从中吸收一点点。

那不是你自学时的方式。当你自学时，假设你正在读一本艰深的数学教材，你不会只是粗略地翻一遍。一些文字脑 (wordcels) 只是粗略地看一遍，然后一遍又一遍地读那本数学教材，他们死记硬背。

你的做法是读一页，思考一下，进行一些内心独白，并和学习伙伴交流。你尝试做一道练习题，失败了很多次。在某一刻你顿悟了，你会觉得，“这就说得通了。” 然后你再读几页。

我们现在才刚刚开始引导模型做到这一点。问题是，你是否能利用所有这种自我对弈、合成数据和强化学习来让它运转起来。现在存在上下文学习，它的样本效率极高。在 Gemini 论文中，它只需在上下文中就能学习一门语言。另一方面，预训练的样本效率一点也不高。

人类所做的就是一种上下文学习。你读一本书，思考它，直到最终顿悟。然后你以某种方式将这种理解提炼回权重中。在某种意义上，这正是强化学习试图做的事情。强化学习非常棘手，但当它起作用时，有点像魔法。

这是模型能得到的最好的数据。就像你尝试做一道练习题，失败了，但在某个时刻以对你来说合理的方式解决了它。对你来说，那是最好的数据，因为那是你自己解决问题的方式，而不是去读别人是怎么解的——别人的解法往往没法一下子让你豁然开朗。

Dwarkesh： 顺便说一句，如果这个观点听起来很熟悉，那是因为这也是我问约翰·舒尔曼的问题之一。这恰好说明了我在开场白中提到的一点。我关于 AI 的很多知识来自于我和你、肖尔托以及其他几个人在采访前的晚餐交流。我们会讨论，“我该问约翰·舒尔曼什么？我该问达里奥 (Dario Amodei) 什么？”

假设事情朝这个方向发展，并且我们实现了这些解除束缚——

Leopold： 以及规模扩展。你有规模扩展这股巨大的力量作为基线。GPT-2 很惊人。它可以将看似合理的句子串联起来，但几乎什么都做不了。它有点像个学龄前儿童。另一方面，GPT-4 可以写代码、解很难的数学题，就像一个聪明的高中生。能力上的这一巨大飞跃在系列文章中得到了探讨。我计算了算力的数量级和算法进步的规模提升。

到 2027 至 2028 年，单靠规模扩展就能在 GPT-4 的基础上实现另一次从学龄前儿童到高中生的飞跃。在单个词元的层面上，这些模型将极其聪明。它们将获得更高的可靠性，加上解除束缚的作用，它们看起来会少一些聊天机器人的影子，而更像代理或随时可以投入工作的远程员工。那时候事情才会真正起飞。

AI 2028：历史的回归

Dwarkesh： 我想就此提出更多问题，但让我们把视野放宽。假设你对这点的看法是正确的。这是因为 2027 年的集群达到了 10 GW 吗？

Leopold： 2028 年是 10 GW。也许会提前。

Dwarkesh： 到 2027 年达到 5.5 级之类的水平，不管叫什么。那时的世界会是什么样子？你有了这些可以取代人类的远程工作者。在经济、政治和地缘政治方面，会有什么样的反应？

Leopold： 对于一个密切关注人工智能的人来说，2023 年是非常有趣的一年。

Dwarkesh： 你 2023 年在做什么？

Leopold： 在 OpenAI。当你在 2023 年身处 OpenAI 时，情况很奇特。你几乎不想谈论人工智能或通用人工智能 (AGI)，它有点像个禁忌词。然后到了 2023 年，人们首次看到了 ChatGPT，看到了 GPT-4，接着就爆发了。

这引发了所有这些公司的巨额资本支出，以及英伟达 (Nvidia) 等公司收入的爆炸式增长。从那以后，情况一直很平静，但下一波浪潮正在酝酿之中。我预计这种 G 力 (g-forces) 每一代都会增强。人们会看到这些模型。他们不会去计算数量级，所以他们会感到惊讶。这将会非常疯狂。

收入将会加速增长。假设你今年年底确实达到了 100 亿美元。假设它继续保持收入每六个月翻一番的轨迹。也许到 2026 年，这距离 1,000 亿美元并不遥远。在某个时候，英伟达身上发生的事情也会发生在大型科技公司身上。它将会爆发。会有更多的人感受到这一点。

2023 年对我来说是一个时刻，AGI 从一个理论上的抽象事物变成了现实。我看到了它，我感受到了它，我看到了这条道路。我看到了它的发展方向。我能看到它训练所在的集群，算法的大致组合，参与的人员，以及它是如何发生的。世界上大部分人还没有达到这个认知。大多数能感受到这一点的人都在这里。世界上更多的人将开始感受到这一点。这将开始变得非常强烈。

Dwarkesh： 现在谁能感受到呢？你可以上 Twitter，那里有这些 GPT 包装 (GPT wrapper) 公司，比如，“哇，GPT-4 将改变我们的业务。”

Leopold： 我非常看跌这些包装公司，因为他们在押注停滞。他们在押注你拥有这些中间模型，并且整合它们需要花费大量的精力。我极度看跌，因为我们会像音爆一样直接碾过你们。我们将实现彻底的解除束缚。我们将获得即插即用的远程工作者。你们的产品将变得毫无意义。

Dwarkesh： 所以他们已经完了。旧金山这群人现在正在关注。2026 年和 2027 年谁会关注？据推测，在这些年份里，数千亿美元的资本支出被用于人工智能。

Leopold： 国家安全机构将开始密切关注。我希望我们能谈谈这个问题。

Dwarkesh： 我们现在就谈谈吧。会发生什么？最直接的政治反应会是什么？放眼国际，我不知道 习近平 (Xi Jinping) 看到 GPT-4 的新闻是否会说：“哦，天哪，看看那个 MMLU 分数。同志，我们该怎么办？”

当他看到一个远程工作者替代品，并且它有 1,000 亿美元的收入时，会发生什么？有很多企业的收入达到 1,000 亿美元，人们并没有彻夜不眠地谈论它。

Leopold： 问题是，中共 (CCP) 和美国国家安全机构何时才能意识到，超级智能 (superintelligence) 对国家力量将具有绝对的决定性作用？这就引出了 智能爆炸 (intelligence explosion) 的概念，这个我们稍后应该讨论。

你拥有了 AGI。你拥有了这种可以取代你我的即插即用型远程工作者，至少对于远程工作来说是这样。很快，你再推动一两次迭代，就会得到比人类更聪明的东西。

甚至不仅仅是再推动几次迭代，首批被自动化的工作之一将是人工智能研究员或工程师的工作。如果你能将人工智能研究自动化，事情就会进展得非常快。

目前，算法进步已经有每年 0.5 个数量级的趋势。在某个时候，你将拥有数千万甚至更多用于推理的 GPU 舰队。你将能运行 1 亿个相当于人类水平的自动化人工智能研究员。

如果你能做到这一点，你也许能在一年内完成十年的 机器学习 (ML) 研究进展。你将获得某种 10 倍的加速。你可以在一年或几年内跃升至比人类聪明得多的人工智能。

它从那里进一步扩展。你首先在人工智能研究方面取得了这种初步加速。你会把研发能力应用到一系列其他技术领域。在这个时候，你拥有了十亿个超级聪明的研发人员、工程师、技术人员等等。他们在所有事情上都极其称职。

他们将解决机器人技术问题。我们之前谈到那是一个软件问题。在你的集群中，你拥有十亿个极其聪明——比最聪明的人类研究员还要聪明——的人工智能研究员。在智能爆炸期间的某个时刻，他们将能够解决机器人技术问题。同样，这也会进一步扩展。

如果你将这幅画面向前推进，它与任何其他技术都截然不同。几年的领先优势在军事竞争等方面可能是具有绝对决定性的。如果你看看 第一次海湾战争 (first Gulf War)，西方联盟部队的击杀比是 100:1。他们的 坦克上配备了更好的传感器。他们拥有更好的精确导弹、GPS 和隐形技术。他们可能拥有 20 到 30 年的技术领先优势。他们轻而易举地击溃了敌人。

将超级智能应用于广泛的研发领域——以及由此带来的工业爆发，机器人制造大量物资——可以将一个世纪的技术进步压缩到不到十年的时间里。这意味着，几年的领先就可能带来军事上类似第一次海湾战争那样的优势。这包括甚至可以先发制人应对核武器的决定性优势。

你怎么找到核动力隐形潜艇？现在，你有传感器和软件来探测它们的位置。你可以做到这一点。你可以找到它们。你拥有数百万或数十亿只蚊子大小的无人机，它们可以消灭核潜艇。它们可以消灭移动发射器。它们可以消灭其他核武器。

它具有极大的潜在破坏性，对国家力量也极其重要。在某个时候，人们会意识到这一点。现在还没有，但他们会的。当他们意识到的时候，负责的将不再仅仅是人工智能研究员。

中共将倾尽全力渗透美国的人工智能实验室。这将涉及数十亿美元、数千人，以及 国家安全部 (Ministry of State Security) 的全部力量。中共将试图在建设上超过我们。

他们在过去十年中增加的电力相当于整个美国电网的发电量。所以要建 100 GW 的集群，至少电力这部分对他们来说要容易解决得多。到这个时候，这将是一场极其激烈的国际竞争。

Dwarkesh： 在这幅画面中，有一点我不确定，它是否像你所说的那样，更像是一场爆炸。你开发出了 AGI。你把它变成了一名人工智能研究员。在一段时间内，你只是利用这种能力来制造数以亿计的其他人工智能研究员。这个极其狂热的过程产生的产物是超级智能。然后它走向世界，发展机器人技术，并帮助你接管其他国家之类的事情。

Leopold： 这是一个稍微渐进的过程。这是一场从狭义开始的爆炸。它可以做认知工作。认知工作投资回报率最高的用途，就是让 AI 变得更好，并解决机器人技术。随着你解决机器人技术，你现在可以进行生物学和其他技术领域的研发。

最初，你从工厂工人开始。他们戴着 智能眼镜 (glasses) 和 AirPods，AI 在指导他们，因为你可以让任何工人都成为熟练的技术人员。然后机器人介入。所以这个过程是在不断扩展的。

Dwarkesh： Meta 的 Ray-Bans 智能眼镜 (Meta's Ray-Bans) 是对 Llama 模型 (Llama) 的补充。

Leopold： 对于美国境内的晶圆厂来说，他们的瓶颈是熟练工人。即使你没有机器人，你拥有认知超级智能，你可以立刻让他们都变成熟练工人。那是一个非常短暂的时期。机器人很快就会到来。

Dwarkesh： 假设这确实是美国技术进步的方式，也许是因为这些公司已经产生了数千亿美元的 AI 收入。

Leopold： 到那时，企业已经在企业债券市场借入了数千亿美元甚至更多。

Dwarkesh： 为什么一个中共官僚，一个 60 岁的人，看着这一切会说，“哦，Copilot 现在变得更好了”，然后——

Leopold： 这远不止是 Copilot 现在变得更好了这么简单。

Dwarkesh： 那将需要转移整个国家的生产，将原本用于消费品等领域的能源转移走，并将其全部投入数据中心。整个故事的一部分是，你意识到超级智能即将到来。你意识到了，也许我也意识到了。我不确定我意识到了多少。

美国国家安全机构和中共会意识到这一点吗？

Leopold： 这是一个非常关键的问题。我们还有几年的中局阶段。我们还有几个像 2023 年这样的年份。这只会让越来越多的人更新认知。趋势线将变得清晰。

你会看到类似于新冠疫情期间的动态。老实说，2020 年 2 月的新冠疫情感觉很像今天。感觉就像这件极其疯狂的事情即将到来。你看到了指数级增长，但世界上大多数人还没有意识到。纽约市长 白思豪 (Bill de Blasio) 还在说，“出去看演出吧，” 还有 “这只是针对亚洲人的种族主义。” 在某个时候，人们看到了它，然后疯狂、激烈的反应就随之而来了。

Dwarkesh： 顺便问一下，你在新冠疫情期间在做什么？那是你大一还是大二的时候？

Leopold： 大三。

Dwarkesh： 尽管如此，那时你只是个 17 岁的大三学生或者差不多大，对吧？你做空市场了吗？你在合适的时机抛售了吗？

Leopold： 是的。

Dwarkesh： 所以将会出现一个类似 2020 年 3 月的时刻。

你可以用你在系列文章中做的类比，这会引发一种反应，比如，“我们必须为美国重启 曼哈顿计划 (Manhattan Project)。” 我想知道这背后的政治会是怎样的。这里的区别在于，这不仅仅是“我们需要原子弹来击败纳粹”。

我们要建造的这个东西会让能源价格大幅上涨，还会自动化掉我们大量的工作岗位。关心气候变化的人们会说，“天哪，这让气候变化变得更糟，而且还在帮大型科技公司。”

在政治上，这似乎不是一种能让国家安全机构或总统说“我们必须在这里踩油门，确保美国获胜”的动态。

Leopold： 同样，这在很大程度上取决于人们对它的感受程度和看到它的程度。我们这一代人太习惯于和平、美国霸权以及一切都无足轻重的状态了。历史的常态很大程度上是世界上发生着极其激烈和非凡的事情，伴随着激烈的国际竞争。

有一个非常独特的 20 年时期。在二战期间，大约有 50% 的 GDP 用于战争生产。美国借入了超过 GDP 60% 的资金。对于德国和日本，我认为超过了 100%。在一战期间，英国、法国和德国的借款都超过了 GDP 的 100%。

当时面临的风险要大得多。人们谈论一战的破坏性，2000 万苏联士兵阵亡，20% 的波兰人丧生。这种事情一直都在发生。在 七年战争 (Seven Years' War) 期间，大约 20-30% 的普鲁士人丧生。在 三十年战争 (Thirty Years' War) 期间，德国大片地区有多达 50% 的人丧生。

人们会看到这里的赌注非常高，而且 历史 (history) 确实回归了吗？美国国家安全机构非常严肃地思考这类问题。他们非常认真地考虑与中国的竞争。中国非常看重自己实现中华民族伟大复兴的这一历史使命。他们对国家力量思考良多。他们对世界秩序思考良多。

在时机上存在一个真正的问题。当智能爆炸已经处于相当晚期的阶段时，他们才开始认真对待吗？他们会提前两年开始认真对待吗？这对事情的走向影响巨大。

在某个时刻，他们会的，并且他们会意识到，这不仅对某场代理人战争，而且对重大问题都将具有绝对的决定性。自由民主能否继续繁荣？中共能否继续存在？这将激活我们很久没有见过的力量。

Dwarkesh： 大国冲突当然似乎很有说服力。当你从历史的角度去思考时，各种不同的事情似乎更有可能发生。如果你把目光跳出我们在美国过去 80 年里有幸生活在其中的自由民主社会，那里面就包括独裁、战争、饥荒之类的事情。

我正在读 《古拉格群岛》 (The Gulag Archipelago)，其中一章的开头，索尔仁尼琴 (Solzhenitsyn) 提到：如果你告诉一个沙皇统治下的俄罗斯公民，尽管有了所有这些新技术，我们并不会看到什么伟大的俄罗斯复兴——俄罗斯成为大国、公民变得富裕——相反，你将看到数以千万计的苏联公民被数百万头野兽以最残忍的方式折磨。

如果你告诉他们这就是 20 世纪的结局，他们不会相信你的。他们会说你是个诽谤者。

Leopold： 拥有超级智能的独裁统治的可能性更加疯狂。想象一下，你拥有一支绝对忠诚的军队和安全部队。不再有叛乱。不再有民众起义。你拥有完美的测谎技术。你对每个人都有监控。你可以完美地找出谁是异见者并清除他们。就不会有像 戈尔巴乔夫 (Gorbachev) 这样对体制有些怀疑的人掌权了。也就永远不会发生军事政变了。

在某种程度上，事情之所以能顺利发展，部分原因是思想是可以演进的。在某种意义上，时间能够治愈很多创伤，也能解决很多争论。纵观历史，很多人都曾有非常坚定的信念，但随着时间的推移，由于持续的 多元化 (pluralism) 和演进，很多信念都被推翻了。

想象一下对真理采用类似中共的方法，即真理就是党所说的。当你用超级智能来强化这一点时，它可能会被锁定并确立很长一段时间。这种可能性相当可怕。

关于你提到的历史以及过去八年生活在美国的观点，这是我在德国长大所得到的体会之一。这些事情很多感觉更加真切。我母亲在前 东德 (East Germany) 长大，我父亲在前 西德 (West Germany) 长大。他们在 柏林墙倒塌 (Fall of the Berlin Wall) 后不久相遇。冷战的结束对我来说是一个极其关键的时刻，因为那是我存在的原因。

我在柏林长大，那里有曾经的柏林墙。我的曾祖母至今健在，她在我的生命中非常重要。她出生于 1934 年，在纳粹时代长大。二战期间，她还是个孩子，从她们栖身的乡下小屋目睹了 德累斯顿大轰炸 (firebombing of Dresden)。随后，她在东德共产主义独裁统治下度过了大半生。

她曾告诉我，在 1954 年发生民众起义 (popular uprising in 1954) 时，苏联坦克是如何开进来的。她的丈夫告诉她赶快回家，不要待在街上。她有一个儿子试图骑摩托车穿越 铁幕 (Iron Curtain)，后来被关进了 斯塔西 (Stasi)%20from%201950%20to%201990.) 监狱一段时间。最终，当她将近 60 岁时，她才第一次生活在一个自由富裕的国家。

当我还是个孩子的时候，她一直最不希望我做的事情就是卷入政治。加入政党对她来说有着非常不好的含义。她在我很小的时候抚养了我。所以感觉那并不遥远。感觉非常近。

Dwarkesh： 今天我们在谈论中共时，有一件事我很好奇。在中国执行他们那个版本计划的人将是那些有一定西化程度的人工智能研究员。他们要么在西方受过教育，要么在西方有同事。

他们会加入这个将控制权交给习近平的中共计划吗？你对此有何感觉？从根本上说，他们只是普通人，对吧？你难道不能说服他们相信超级智能的危险吗？

Leopold： 但是他们会掌权吗？在某种意义上，美国也是如此。这就像是实验室员工迅速贬值的影响力。目前，人工智能实验室的员工拥有巨大的权力。你看到了这个 十一月事件 (November event)。这权力太大了。

两者都会被自动化，他们将失去所有的权力。掌权的只会是少数几个人，外加他们的自动化人工智能大军。这其中也包括政治家、将军和国家安全机构。电影 《奥本海默》 (Oppenheimer) 中有一些经典的场景。科学家们制造了原子弹，然后原子弹被运走，脱离了他们的控制。

让实验室员工意识到这一点是件好事。你现在拥有很多权力，但也许不会持续那么久。明智地使用它。我确实认为，建立更多代议制民主的机构会对他们有所裨益。

Dwarkesh： 这是什么意思？

Leopold： 在 OpenAI 董事会事件中，员工权力是以一种非常直接民主的方式行使的。其中一些事情的发生确实凸显了代议制民主以及拥有一些审议机构的好处。

间谍活动与美国的人工智能主导地位

Dwarkesh： 很有意思。让我们回到那个 1000 亿美元收入的问题。各大公司正试图建设如此庞大的计算集群。他们会在哪里建设？假设其所需的能源量相当于美国一个中小型州的能耗。这是否意味着，如果在美国建设，科罗拉多州就会断电？还是会在其他地方建设？

Leopold： 每当谈到科罗拉多州会断电时，我都觉得很有趣。获取电力的简单方法是取代经济效益较低的产业。比如收购一个拥有吉瓦级 (gigawatt) 电力的铝冶炼厂，将其替换为数据中心，因为这更加重要。但这并未发生，因为许多电力合同都是长期锁定的。此外，公众也不喜欢这种做法。

至少在目前，实际的解决方案是新建电力设施。未来情况可能会改变。如果大家决定“把所有电力都分配给通用人工智能 (AGI)”，事情就会变得非常有趣。

因此，目前主要是新建电力设施。10 吉瓦 (GW) 是完全可行的。这大约占 美国天然气产量 的百分之几。拥有 10 吉瓦的训练集群后，推理能力也会大幅提升。100 吉瓦的规模就显得相当疯狂了，超过了 美国发电量 的 20%。但这也是可行的，特别是如果你愿意使用天然气的话。

极其重要的一点是，这些集群必须设在美国。

Dwarkesh： 为什么设在美国很重要？

Leopold： 有些人正试图在其他地方建设集群。有大量 充裕的中东资金 试图在海外建设集群。这又回到了我们之前讨论的国家安全问题。你会把曼哈顿计划 (Manhattan Project) 设在阿联酋 (UAE) 吗？

你可以将集群设在美国，也可以设在民主盟国。一旦将其设在专制独裁国家，就会产生不可逆转的安全风险。集群建成后，他们更容易窃取模型权重。他们可以直接窃取 AGI，即超级智能。这就如同直接复制了原子弹。这对他们来说极其容易。他们与中国有着说不清道不明的联系，可以把技术转移到中国。这是一个巨大的风险。

另一方面，他们可以直接夺取算力。目前人们仅仅将这些集群视为 ChatGPT 和大型科技公司的产品集群。而现在规划中、未来三到五年内将要建成的集群，很可能是 AGI 与超级智能集群。一旦局势紧张，他们可能会直接夺取算力。

假设我们将 25% 的算力放在这些中东独裁国家。如果他们夺取了这部分算力，算力比例就会变成 3:1。尽管我们仍然占优，但即使他们只拥有 25% 的算力，情况也会变得非常棘手。3:1 并不是一个理想的比例。拥有这部分算力，他们可以做很多事情。

假设他们没有采取这些行动，没有夺取算力，也没有窃取权重，他们依然会获得巨大的隐性杠杆。他们能在 AGI 的决策桌上占据一席之地。我不明白，我们为什么要把 AGI 决策桌上的席位送给专制独裁国家。

Dwarkesh： 如果这些交易达成，中东将拥有大量算力。

首先，这是谁在主导？是每一家试图涉足该领域的大型科技公司吗？

Leopold： 并非全部，是一部分。

Dwarkesh： 有 报道称，我认为是微软 (Microsoft)。我们稍后会详细探讨。

假设我们在阿联酋建设集群，使其获得了大量算力。假设他们拥有 25% 的算力。为什么算力比例如此重要？如果这关乎他们能否引爆智能爆炸，难道这不仅仅是一个门槛问题吗——你是否拥有 1 亿名人工智能研究员？

Leopold： 拥有 3300 万名极其聪明的科学家可以做很多事情。这也许足以制造可怕的生物武器。那时你将面临他们既窃取了权重又夺取了算力的局面。

凭借超级智能，他们可以制造出可怕的新型 大规模杀伤性武器 (WMDs)。这将导致极具破坏力的武器扩散。而且，3 倍的算力差距其实并不算大。

最危险的局面是，我们卷入一场势均力敌、狂热的国际竞争。假设我们与中共 (CCP) 差距极小，仅相差几个月。我们希望处于的局面——如果策略得当完全可以实现——应该更像美国研发原子弹时，大幅领先德国数年的状态。如果能做到这一点，我们在确保安全性方面就会有充足的周旋余地。

我们将要制造那些彻底颠覆核威慑的新型大规模杀伤性武器。如果没有人紧追不舍，不需要全速推进，应对起来会容易得多。否则你将毫无周旋余地，时刻担心随时被超越。

他们也可以通过扩大建设规模来超越你。他们可能真的会赢。如果中国能窃取权重，他们完全有可能获胜，因为他们可以建设更大规模的基础设施。他们可能顾虑更少，不论是我们那些不合理的繁文缛节，还是合理的安全考量。

如果陷入这种极其焦灼、狂热的竞争中，那将面临最大的 自我毁灭风险。

Dwarkesh： 大概那些试图在中东建设集群的公司也意识到了这一点。是因为在美国根本无法做到这一点吗？如果希望美国公司开展这项工作，是只能在中东进行，还是根本无法进行？那样的话，只能让中国去建一个三峡大坝规模的集群了。

Leopold： 这有几个原因。人们并没有将其视为 AGI 超级智能集群。他们只是觉得，“哦，这是为我的 ChatGPT 准备的超酷集群。”

Dwarkesh： 如果只是用于推理，也许可以将其分散到全国各地。但他们正在建设的是在一个单一设施内进行一次训练运行的集群。

Leopold： 要区分推理算力和训练算力很困难。人们声称这是推理算力，但他们可能会发现，这同样非常适合作为训练算力。

Dwarkesh： 是因为合成数据之类技术的出现吗？

Leopold： 例如，强化学习 (RL) 看起来就非常像推理。或者最终会在时间上将它们连接起来。这很像原材料，就像把你的铀浓缩设施建在那里一样。

所以有几个原因。第一，他们没有将其视为 AGI 集群。第二，中东的资金获取非常容易。

还有一个原因是，有些人认为在美国无法完成这项工作。我们在这里确实面临着真正的制度竞争。有些人认为，只有专制国家才能通过自上而下动员工业能力并快速推进来实现这一点。

这又是我们很久没有面对过的情况了。在冷战期间，存在着激烈的制度竞争。东德与西德就是典型的例子，代表着自由民主资本主义与国家计划共产主义的对立。

现在看来，自由世界获胜是理所当然的。但直到 1961 年，保罗·萨缪尔森 (Paul Samuelson) 还在 预测苏联的经济增长将超越 美国，因为他们能更好地动员工业。

所以有些人在网上口嗨自己热爱美国，私下里却在押注美国会输，押注自由秩序会失败。这绝对是个错误的赌注。这类项目在美国是完全可行的。

为了让其在美国落地，我们在某种程度上需要齐心协力。目前主要有两条路径。第一是接受使用天然气。天然气资源非常丰富。可以把集群建在西得克萨斯州，或者宾夕法尼亚州西南部靠近 马塞勒斯页岩 (Marcellus Shale) 的地方。10 吉瓦的集群非常容易实现。100 吉瓦的集群也完全可行。我认为 美国的天然气产量在过去十年几乎翻了一番。如果在未来七年内再翻一番，就能为多个万亿美元级别的数据中心供电。

这里的问题在于，不仅是政府，包括 微软 和 亚马逊 (Amazon) 等私营公司自己都做出了气候承诺。因此他们不会使用天然气。我很敬佩这些气候承诺，但到了某个关头，国家利益和国家安全更为重要。

另一条路径是开展绿色能源超大型项目。发展太阳能、电池、小型模块化反应堆 (SMR) 以及地热能。如果想走这条路，就需要广泛推进放松管制。审批流程不能拖上十年。必须改革 联邦能源管理委员会 (FERC)。必须为这类项目提供 国家环境政策法案 (NEPA) 的全面豁免。

各州层面存在着一些愚蠢的规定。你可以在数据中心旁边建设太阳能电池板和电池，但这仍需要数年时间，因为你必须将其并入州电网。你必须利用政府权力建立通行权，建设多个集群，用电缆将它们连接起来。

理想的情况是双管齐下。我们既利用天然气，又推进更广泛的放宽管制的绿色议程。我们至少需要做到其中之一，这样这些项目才能在美国实现。

Dwarkesh： 在这次对话之前，我读了一本关于美国二战期间工业动员的好书，名为《自由的熔炉 (Freedom's Forge)》。回想那个时期，特别是结合阅读帕特里克·科里森 (Patrick Collison) 的《快速 (Fast)》和 关于进步研究的文章。现在有一种说法是，我们过去拥有国家能力，人们办事雷厉风行，但现在却是一团糟。

Leopold： 当时情况完全不是这样！

Dwarkesh： 那本书非常有趣。当时有来自底特律汽车工业界的人士，比如威廉·克努森 (William Knudsen)，他们负责美国的动员工作。他们极具能力。与此同时，也存在着 劳工组织和煽动行为，这与我们今天对气候变化的承诺和担忧非常相似。

直到 1941 年，他们真的会举行罢工，在我们试图每月制造数万架飞机的时候，耗费数百万工时的时间。他们为了从资本家那里获得微不足道的让步，就会使工厂瘫痪。

当时有人担心，汽车公司试图利用潜在的战争作为借口，拒绝向劳工支付应得的工资。因此，对比今天的气候变化问题，你可能会想，“美国完了。看看 NEPA 之类的规定，我们根本建不成这些东西。”我以前并没有意识到二战时期的劳工问题有多么令人头疼。

Leopold： 不仅如此。在 1939 年之前，美国军队处于全面混乱状态。读到相关历史，感觉有点像 今天的德国军队。当时的军事支出占 GDP 的比例不到 2%。而所有欧洲国家，即使在和平时期，这一比例也超过了 10%。

那是从零开始的快速动员。我们当时一架飞机都没有生产。没有任何军事合同。在经济大萧条期间，一切都处于极度匮乏状态。但潜能是存在的。在某个时刻，美国齐心协力采取了行动。

这也适用于中国。有时人们会因为出口管制等因素而对他们评价过低。但他们现在 已经能够制造 7 纳米芯片 了。问题在于他们能制造多少。他们至少有可能完善这项技术并大规模生产 7 纳米芯片。

中国拥有巨大的潜在工业能力。他们能够快速建设大量电力设施。也许这些能力尚未在人工智能领域被激活。但就像美国政府的许多人终将醒悟一样，中共迟早也会醒悟。

Dwarkesh： 各公司都意识到规模化是一项必然趋势。显然，他们的整个计划都取决于规模化。因此他们明白，到 2028 年我们将建设 10 吉瓦的数据中心。

届时，能跟上步伐的，将是能力逼近极限的大型科技公司、主权财富基金支持的项目，以及中美这样的大国。那么他们的计划是什么？对于这些人工智能实验室来说，面对这样的格局，他们的计划是什么？难道他们不想要身处美国所带来的优势吗？

Leopold： 中东确实提供了资本，但美国本身就拥有充足的资本。我们有万亿美元级别的公司。这些中东国家算什么？他们就像是万亿美元级别的石油公司。我们拥有万亿美元级别的公司和极其深厚的金融市场。微软可以发行数千亿美元的债券来为这些集群买单。

另一种值得认真对待的观点是，如果我们不与阿联酋或这些中东国家合作，他们就会转向中国。无论如何，他们都会建设数据中心并向人工智能领域投入资金。如果我们不与他们合作，他们就会支持中国。

这个观点有一定道理，从某种意义上说，我们应该与他们分享利益。在迈向 AGI 的道路上，应该存在两层联盟。第一层是由民主国家组成的狭义联盟，负责开发 AGI。第二层是包括独裁国家在内的更广泛的其他国家联盟，我们应该向他们提供人工智能的一些红利。

如果阿联酋想使用人工智能产品，运行 Meta 的推荐引擎，或者运行上一代的模型，这没问题。在默认情况下，他们根本没有资格在 AGI 决策桌上占有一席之地。他们确实有钱，但有钱的人多的是。

他们之所以能在 AGI 领域获得席位，让这些独裁者对这项极其重要的国家安全技术拥有影响力，完全是因为我们勾起了他们的兴趣，还主动把席位送上门。

Dwarkesh： 具体是谁在做这件事？是哪些公司去那里融资的？

Leopold： 据 报道，萨姆·奥特曼 (Sam Altman) 正试图为一个芯片项目筹集 7 万亿美元左右。目前尚不清楚会有多少集群建在那里，但相关动作确实在进行。

我对“如果美国不与他们合作，他们就会转向中国”这种说法持怀疑态度的另一个原因在于，我从多位人士那里听说——这不是我在 OpenAI 工作期间了解到的，我也没见过相关备忘录——几年前的某个时候，OpenAI 领导层曾制定过一个计划，打算通过在美国、中国和俄罗斯政府之间挑起竞价战，来为 AGI 融资并将其出售。

令我惊讶的是，他们居然愿意将 AGI 出售给中国和俄罗斯政府。挑起一场竞价战，让他们相互抬价，再撂下一句“如果你们不干，中国就会干”——这种做法让人有一种诡异的似曾相识感。

Dwarkesh： 很有意思。这太糟糕了。

假设你是对的。正如我们的一位朋友所说，中东有数十亿、数千亿甚至数万亿美元的资金是可以靠游说争取的，世界上没有其他地方像那里一样。我们就是这样走到这一步的。

Leopold： 且几乎缺乏问责制。那里没有微软董事会。只有独裁者。

Dwarkesh： 假设你是对的，一开始就不应该让他们对 AGI 产生兴趣。现在他们已经对 AGI 充满热情，而且会想，“既然你们要去开发超级智能，我们想要拥有 GPT-5。这种 和平原子能 (Atoms for Peace) 的模式对我们行不通。”如果是这种局面，难道他们不是已经掌握了筹码吗？

Leopold： 阿联酋本身并不具备竞争力。他们已经受到了出口管制。按规定不能将英伟达 (Nvidia) 的芯片运往那里。他们也没有任何领先的人工智能实验室。他们有资金，但光有资金很难转化为技术进步。

Dwarkesh： 我想回到你之前在阐述愿景时提到的其他事情。目前存在一种几乎工业化的流程：投入算力和算法，将它们结合，最终得到 AGI。如果实际情况更像这样，那么有人能够迅速追赶上来的可能性，似乎比那种完全定制化的情况更具说服力……

Leopold： 如果他们能够窃取算法和权重，那将极其关键。

Dwarkesh： 对于一个行为体来说，要窃取那些不是随便公开的东西——不是斯嘉丽·约翰逊 (Scarlett Johansson) 声音那种，而是我们正在讨论的强化学习技术，也就是解除束缚 (unhobblings)——有多容易？

Leopold： 极其容易。他们并不认为这有多困难。DeepMind 发布了他们的 前沿安全框架 (Frontier Safety Framework)，将安全级别设定为 0 到 4 级。4 级代表能够抵御国家级攻击。他们表示自己目前处于 0 级。就在最近，一名男子因窃取大量重要人工智能代码并逃往中国而遭到起诉。为了窃取代码，他所做的仅仅是复制粘贴到 Apple Notes 中，然后导出为 PDF。就这样躲过了监控。

谷歌 (Google) 拥有人工智能实验室中最好的安全系统，因为他们依赖于谷歌的基础设施。想想一家初创公司的安全性会是怎样的？肯定没那么好。窃取起来非常容易。

Dwarkesh： 即使如此，你的文章很大篇幅都在论证为什么我们会迎来智能爆炸。如果有一位像 亚历克·拉德福德 (Alec Radford) 那样直觉敏锐的人提出所有这些想法，那么这种直觉是极其宝贵的，而且可以将其规模化。

如果这仅仅是直觉，那它就不会仅仅体现在代码中，对吧？此外，由于出口管制，这些国家将使用略有不同的硬件。你必须做出不同的取舍，很可能还需要重写代码以实现兼容。

难道只要拿对一个 U 盘，插到三峡大坝旁边吉瓦级数据中心的接口上，然后就能一路狂飙了吗？

Leopold： 这分为几个层面，对吧？其中一种威胁模型就是他们直接窃取权重。窃取权重这一情况尤其疯狂，因为他们可以直接窃取最终产品——就像直接复制原子弹一样——然后他们就可以立即投入使用了。在拥有 AGI 和超级智能的时期，这一点极其重要，因为中国在默认情况下可以建设大型集群。由于我们拥有更优秀的科学家，我们原本会有很大的领先优势，但如果我们研发出超级智能后被他们直接窃取，他们就会立刻占得先机。

模型权重在目前看来相对没那么重要，因为谁会在乎他们窃取了 GPT-4 的权重。但我们现在必须开始着手权重安全，因为如果我们认为 2027 年就能实现 AGI，这些安全措施需要时间来落实。这绝不是“哦，我们做点访问控制”那么简单。如果真想抵御中国的间谍活动，安全措施必须更加严密。

人们没有给予足够重视的一点是机密。算力的数字很吸引人，但人们低估了机密的重要性。仅仅是默认情况下的算法进步，每年就能带来半个数量级的提升。这是巨大的。如果我们能保持几年的领先优势，默认情况下这就相当于一个规模大 10 到 30 倍，甚至 100 倍的集群，前提是我们保护好这些机密。

数据墙又增加了一层挑战。我们必须突破数据墙。这意味着我们必须找出某种基本的新范式。这就是“AlphaGo 第二阶段”。“AlphaGo 第一阶段”通过模仿人类来学习。“AlphaGo 第二阶段”则是每个人目前都在研究的强化学习自我对弈模式。也许我们能够破解它。如果中国窃取不到这项技术，他们就会陷入停滞。如果他们能窃取到，他们就会立刻全速推进。

Dwarkesh： 无论那项技术是什么，我真的能把它写在餐巾纸背面吗？如果那么简单，为什么他们自己想出来会那么困难？如果更多地依赖于直觉，难道不需要去雇佣亚历克·拉德福德吗？你到底能复制下来什么？

Leopold： 这里有几个层面。最顶层的是基本方法。在预训练阶段，可能是无监督学习、下一个 token 预测，或者对整个互联网数据进行训练。仅仅靠这些就已经能榨出巨大的价值。这一层的东西传播起来非常快。

然后还有很多重要的细节，你之前也提到了这一点。这些东西事后看来可能相当明显，或者存在某种不太复杂但确实管用的方法，但要真正实现它，会有大量的细节需要把握。

Dwarkesh： 如果真是这样，那为什么我们认为这些初创公司获得国家级安全保障就能阻止中国赶超？就像“哦，我们知道需要某种自我对弈强化学习来突破数据墙。”

到 2027 年，这个问题就会被解决，对吧？这并没有那么难。

Leopold： 美国及其领先实验室拥有巨大的领先优势。在默认情况下，中国实际上已经拥有了一些很好的大语言模型 (LLM)，因为他们在使用像 Llama 这样的开源模型。人们严重低估了算法进展的差异，以及美国默认拥有的领先优势，因为所有这些研究成果直到最近都是公开发表的。

看看 Chinchilla 缩放定律 (Chinchilla Scaling laws)、混合专家模型 (MoE) 论文、Transformer 架构。所有这些都已公开发表。这就是为什么开源有益，也是为什么中国能开发出不错的模型的原因。但现在，这些研究不再公开发表了。如果我们真的能保密，这将是一个巨大的优势。

关于你提到的隐性知识和亚历克·拉德福德，最底层还有一个层面，那是关于让这些大型训练运行得以实现的大规模工程工作。那有点像隐性知识，但中国终究能弄明白。这只是繁重的工程工作，他们总会找到解决办法的。

Dwarkesh： 为什么他们能弄明白工程问题，却弄不明白如何让强化学习发挥作用？

Leopold： 我不知道。二战期间，德国在 重水 (heavy water) 问题上走错了方向。《原子弹秘史 (The Making of the Atomic Bomb)》中有一个非常精彩的轶事。

在早期，保密是最具争议的问题之一。利奥·西拉德 (Leo Szilard) 坚信核链式反应和原子弹是可行的。他四处宣扬：“这将具有巨大的战略和军事意义。”很多人不相信，或者认为，“这也许可能，但我会假装它不可能，科学应该是开放的。”

早期在作为 减速剂 (moderator) 的石墨测量上出现了一些错误。德国人认为石墨不起作用，所以他们只能选择重水。但随后 恩里科·费米 (Enrico Fermi) 的新测量结果表明石墨是有效的。这非常重要。

西拉德再次向费米提出保密请求，费米很生气，大发脾气。他认为这很荒谬，说：“得了吧，这太疯狂了。”但西拉德坚持己见，他们又拉拢了另一位科学家 乔治·佩格拉姆 (George Pegram)。最终，费米没有发表这项研究。

而这一切正赶在关键时刻。费米没有发表文章，意味着纳粹一直没有发现石墨是有效的。他们继续在重水这条错误的道路上走下去。这也是 德国核计划 (German project) 失败的一个关键原因。他们远远落后了。

我们现在面临着类似的情况。我们是打算立即泄露如何突破数据墙以及下一个范式是什么？还是保持机密？

Dwarkesh： 这件事之所以重要，是因为领先一年将是一个巨大的优势。在一个随着时间推移逐步部署人工智能的世界里，他们无论如何都会赶上来的。

我曾采访过《原子弹秘史》的作者理查德·罗兹 (Richard Rhodes)。他分享了一个轶事，当时苏联意识到美国拥有了原子弹。显然，我们在日本投下了原子弹。

拉夫连季·贝利亚 (Lavrentiy Beria)——内务人民委员部 (NKVD) 的负责人，一个臭名昭著、残酷无情的人——去找负责 苏联曼哈顿计划 的苏联科学家。

他说：“同志，你得给我们造出美国的原子弹。”那位科学家回答：“听着，他们的内爆装置其实并非最优。我们应该用不同的方法制造。”贝利亚说：“不行，你要么给我们造出美国的原子弹，要么你的家人就会化为集中营的灰烬。”

这个轶事的相关之处在于，如果苏联最初没有照搬美国的设计，他们本可以造出更好的原子弹。这揭示了历史的一些规律，不仅适用于曼哈顿计划。科技树往往暗示着某项特定技术是下一步的发展方向——比如这里的自我对弈强化学习——人们常常会并行发明，并在差不多同一时间取得突破。谁先弄出来，时间差距不会太大。

众所周知，许多人几乎在同一时间发明了电灯泡。是不是可以这么说，这或许是事实，但领先一年或六个月就会产生决定性的差异？

Leopold： 两年的时间足以改变一切。

Dwarkesh： 但我不知道会不会有两年的差距。

Leopold： 如果我们封锁实验室，我们拥有远胜于他们的科学家，我们遥遥领先。这就会带来两年的差距。即使是领先六个月、一年，也会产生巨大的差异。这又回到了智能爆炸的动态过程。一年的时间，可能就是“大致人类水平”的系统与“远超人类”的系统之间的差距。这可能是 5 个数量级的差距。

看看目前的发展速度。三年前，在 数学基准测试 (math benchmark) 上——这些都是非常困难的高中竞赛数学题——我们的准确率只有百分之几，几乎解不出任何问题。现在这个问题已经被解决了。那还是在正常的人工智能发展速度下取得的。当时你还没有 10 亿名超级智能研究员。

一年的差异是巨大的，尤其是在实现超级智能之后。一旦这应用于研发的各个环节，结合机器人和其他先进技术，就会引发工业爆炸。几年的时间可能会产生相当于几十年的进步。重申一下，这就像美国在第一次海湾战争中拥有的技术领先优势，这二三十年的技术领先被证明是具有决定性作用的。这真的很重要。

这也是它非常重要的另一个原因。假设他们窃取了权重，窃取了算法，并紧紧跟在我们后面。假设我们依然领先。我们稍微快一点，领先三个月。

如果我们真的势均力敌，只有三个月的领先优势，这个世界将处于极度危险之中。我们将卷入这场狂热的竞争：如果他们领先，他们就会占据主导地位，甚至可能获得决定性优势。他们正在疯狂地建设集群。他们愿意抛弃所有的谨慎。我们必须跟上步伐。

可怕的新型大规模杀伤性武器正在涌现。我们将处于这样一种局面：疯狂的新型军事技术、新型大规模杀伤性武器、威慑与相互确保摧毁的格局每几周就会改变一次。这将是一个完全不稳定、动荡且极其危险的局面。

所以你必须从安全对齐的角度来看待这些技术的危险性。在智能爆炸期间，拥有六个月的周旋余地可能非常重要。我们可以借此表示：“听着，由于我们必须确保万无一失，并对目前的发展感到不安，我们将在此期间投入更多算力来进行安全对齐。”

决定我们是自我毁灭还是顺利度过这个疯狂时期的最重要因素之一，就是我们是否拥有这样的缓冲空间。

人工智能的地缘政治影响

Dwarkesh： 在我们继续之前，非常值得注意的是，与我交谈过的人中，几乎没有人考虑过人工智能的地缘政治影响。我有一些具体的意见分歧，我们稍后会讨论并理清。也许最终我不会持有异议。

基本前提是，如果我们不断扩大规模，如果人们意识到这就是智能的发展方向，世界将不再是以往的模样。这不仅关乎我们明天要部署什么模型，或者最新产品是什么。Twitter 上的人们会说，“GPT-4 将颠覆你的预期”之类的话。

新冠疫情 (COVID) 是一个非常有趣的例子，因为在 2020 年 3 月爆发时，全世界——无论是总统、首席执行官、媒体还是普通人——都清楚地意识到，虽然世界上还在发生其他事情，但我们目前共同面临的主要问题就是新冠疫情。

Leopold： 很快 AGI 就会成为焦点。现在是暴风雨前的宁静。也许你想去度假。也许现在是你最后一次生孩子的机会。我女朋友有时会抱怨我忙于工作，没花足够的时间陪她。她威胁说要用 GPT-6 取代我。我回应道，“GPT-6 也会忙着做人工智能研究。”

Dwarkesh： 为什么其他人没有谈论国家安全？

Leopold： 我在新冠疫情期间犯过这个错误。在 2020 年 2 月，我以为它会席卷全球，所有医院都会崩溃。情况会很疯狂，然后就会结束。在疫情初期，很多人都有这种想法。他们关闭办公室一个月左右。

我真正没有考虑到的因素是社会的反应。几周内，国会在新冠疫情措施上的支出超过了 GDP 的 10%。整个国家都停摆了。这太疯狂了。我对新冠疫情的社会反应估计不足。

为什么人们会低估它？身处一线往往会让你无法清晰地看清趋势。你不需要把时间线拉得太长，只需退后看几年即可。

当你身处一线时，你会努力让下一个模型运作起来。总会遇到困难。你可能会低估算法的进步，因为你会觉得“现在进展困难”，或者是遇到了“数据墙”。但当你退后几年，计算一下算法取得了多少进展时，你会发现它是巨大的。

人们根本不去想这些事情。聪明人往往低估了间谍活动的威胁。安全问题的一部分在于人们没有意识到国家级间谍活动有多么激烈。这家 以色列公司的软件可以零点击黑入任何 iPhone。他们只需输入你的号码，就能直接下载所有内容。美国曾渗透进一个 物理隔离 (air-gapped) 的原子武器项目。这令人震惊。

Dwarkesh： 你是在说 震网病毒 (Stuxnet) 吗？

Leopold： 是的。情报机构储备了大量的 零日漏洞 (zero-days)。当局势变得非常紧张时，也许我们会派遣特种部队前往数据中心。中国就是这么做的。他们会威胁相关人员的家人。他们会说，“如果你不合作，如果你不向我们提供情报……”

有一本类似于《古拉格群岛》的好书，叫做 《水族馆内部》(Inside the Aquarium)，作者是 一名苏联格鲁乌 (GRU) 叛逃者。格鲁乌 (GRU) 是军事情报机构。Ilya 向我推荐了这本书。当我读它时，我对国家级间谍活动的激烈程度感到震惊。

整本书讲述了他们如何前往这些欧洲国家并试图招募人员以获取技术。这里有一个轶事。这位最终叛逃的人正在格鲁乌间谍学院接受培训。在被派往国外之前，要从间谍学院毕业，你必须通过一项测试以证明你有能力完成任务。

这项测试是在莫斯科招募一名苏联科学家向你提供信息，就像你在国外会做的那样。当然，无论你招募谁，泄露机密信息的惩罚都是死刑。因此，要从格鲁乌间谍学院毕业，你必须宣判一位同胞死刑。国家会做这种事。

Dwarkesh： 我开始读这本书是因为你在系列文章中提到了它。我很好奇你使用了这个轶事。然后你说，“这是 Ilya 推荐的一本书。”这是一种彩蛋吗？我们把这个问题留给读者去思考。

Leopold： 士气不好转，鞭子就不会停。

Dwarkesh： 假设我们生活在一个这些机密被严密封锁的世界中，但中国意识到了美国正在取得这些进展。

Leopold： 这些机密可能不会被严密封锁。我们很可能会生活在一个糟糕的世界里。情况会非常糟糕。

Dwarkesh： 你为什么如此确信机密不会被封锁？

Leopold： 我并不是确信它们不会被封锁，只是目前并没有发生。

Dwarkesh： 假设明天，实验室负责人收到指示。这有多难？他们需要做什么？他们需要雇佣更多的保安吗？他们需要进行物理隔离吗？他们到底要怎么做？

Leopold： 人们通常有两种反应：一种是“我们已经很安全了”。但事实并非如此。

另一种是宿命论：“这是不可能的。”

你需要赶在中国共产党 (CCP) 对 AGI 觉醒的曲线前面。目前，你必须能够抵御常规的经济间谍活动。但他们做不到。如果实验室能够做到，我可能就不会谈论这些事情。我不想进一步引起中共的警觉。但这些事情对他们来说目前确实轻而易举。

因此，他们无法抵御。私营公司是有可能做到防范的。我们都在量化交易领域有朋友。那些机密的性质是相似的，如果我和竞争对手公司的人通话一个小时，我们的大部分超额收益 (alpha) 就会消失。

Dwarkesh： 你很快就会为此担忧了。

Leopold： 所有的超额收益都可能消失，但事实上，他们的超额收益通常能维持许多年甚至几十年。所以这种情况似乎并没有发生。如果你从当前的初创公司安全水平升级到优秀的私营部门安全水平，有很多事情可以做：比如对冲基金的做法，或者 Google 处理客户数据的方式等。就目前而言，这已经足够好了。

问题在于，中共最终也会更加认同 AGI 的重要性。在某个时刻，我们将面临国家安全部的全部力量。你提到了聪明人低估了间谍活动和国家的疯狂能力。这令人震惊。有论文指出，仅凭声音就能判断你在电子游戏地图中所处的位置。国家可以利用电磁辐射做很多事情。

在某个时刻，你必须在 敏感信息隔离设施 (SCIF) 中工作。你的计算集群需要进行物理隔离，并基本成为一个军事基地。你需要对员工进行严格的安全许可审查。所有的一切都在监控之中。他们基本上会配备保安。你不能使用任何其他依赖项。所有的东西都必须经过严格审查。你所有的硬件也必须经过严格审查。

如果他们真的面临国家级间谍活动的全面攻击，从现实经验来看，这绝不是私营公司能应对的。Microsoft 最近发生过 高管电子邮件被俄罗斯黑客入侵 的事件，还有 他们托管的政府电子邮件被国家黑客入侵 的事件。此外，有很多事情只有拥有安全许可的人才知道，并且只有他们来处理。

为了真正抵御间谍活动的全面攻击，你需要政府的介入。我们可以通过始终保持领先来做到这一点。我认为我们注定会落后，除非我们将其转变为某种政府项目。

Dwarkesh： 回到一种天真的视角，我们现在的出发点很大程度上是“将发生一场竞赛，面对中共，我们必须赢”。听着，我明白中国政府的掌权者是怎样的人，也了解中共的情况。

我想退一步，从一种银河系的视角来看待这个问题。人类正在发展 AGI。我们要从“我们需要击败中国”的角度来处理这件事吗？对于我们那些拥有超级智能的 木星大脑 (Jupiter brain) 的后代来说，中国将是他们一段遥远的记忆，美国也是。

作为最初的策略，难道我们不应该主动找他们说，“听着，这是超级智能。我们本着合作的立场而来。” 为什么要立即以一种鹰派、竞争性的视角介入呢？

Leopold： 我在系列文章中谈论的很多内容主要是描述性的。关于中国的问题，在某个理想世界中，一切都会是和谐与合作的。再强调一次，人们正在认识到 AGI。具体的问题是，我们能达成协议吗？我们能签订一项国际条约吗？这实际上与国际军控协议的稳定性有关。

在20世纪80年代，我们在 核武器军备控制 方面取得了巨大成功。其成功的原因在于新的平衡是稳定的。将核武器数量从6万枚削减到1万枚左右。当你拥有1万枚核武器时，对方突然毁约扩军基本就没那么重要了。

假设对方现在试图制造2万枚核武器。谁在乎呢？这依然是相互保证毁灭。假设一个流氓国家从零核武器增加到一枚核武器。谁在乎呢？我们的核武器依然比你们多得多。这并不足以造成局势不稳定。

如果军控协议要求零核武器，情况将截然不同。在零核武器的情况下，只要有一个流氓国家制造了一枚核武器，整个局势就会被破坏。毁约扩军非常容易。你的敌对国家就会开始制造核武器。

当军备削减到极低水平，或者处于技术动态发展的环境中时，军备控制会非常困难，因为很容易被打破。在20世纪20年代和30年代也有关于此的类似历史。当时所有欧洲国家都已裁军。

德国实施了旨在建立 德国空军 (Luftwaffe) 的速成计划。这极大地破坏了稳定局势，因为他们是先行者。他们之所以能轻易建立现代空军，是因为其他国家当时并没有。这严重破坏了局势的稳定。

AGI 和超级智能的问题在于其爆发性。如果出现智能爆发，你将能从 AGI 跃升至超级智能。这种超级智能具有决定性，因为你将研发出某种疯狂的大规模杀伤性武器，或者拥有可以完全解除敌方武库的超级黑客能力。假设我们试图踩下刹车。我们将开展合作。在 AGI 到来之际，我们将放慢脚步。

但是，将会产生巨大的诱惑促使人们去竞争领先、去突破限制。我们就会进行智能爆发。如果我们能领先三个月，我们就赢了。这使得在力量势均力敌的情况下，任何形式的军控协议都会变得极不稳定。

Dwarkesh： 这非常有趣。这与我 在播客中和 Rhodes 进行的辩论 非常相似，当时他主张核裁军。如果某个国家试图突破限制并开始研发核武器，你获得的六个月时间足以达成国际共识，入侵该国并阻止他们获得核武器。我认为这不是稳定的平衡状态。

在这个问题上，可能更容易一些，因为你拥有 AGI，所以你可以监控对方的集群之类的信息。你可以从太空中看到数据中心。你可以看到他们的能耗情况。正如你所说，如果你真的下定决心，有很多方法可以从环境中获取信息。此外，与核武器不同，数据中心是固定的。显然，你可以将核武器部署在潜艇、飞机、地堡、山脉等处。你可以把它们部署在很多不同的地方。对于一个 100 吉瓦的数据中心，如果我们感到担忧，我们可以直接把它炸掉。我们只需使用巡航导弹或其他武器即可。这非常脆弱。

Leopold： 这就涉及到了后超级智能时代这个时期的极度脆弱性和不稳定性。你经历了智能爆发。你的集群上拥有这些远超人类的实体。你尚未完成工业爆发。你还没有机器人。你还没有在沙漠中布满机器人制造厂。

这是一个疯狂的时刻。假设美国领先。中共稍微落后。实际上，先发制人有着巨大的诱惑力，前提是他们能够摧毁你的数据中心。他们知道你即将获得决定性的领先优势。他们知道，只要能摧毁这个数据中心，他们就能阻止你。他们可能会孤注一掷。

我们将处于一个在初期非常难以防御的境地。我们基本上将处于依靠核报复威胁来保护数据中心的境地。这听起来可能有些疯狂。

Dwarkesh： 这是 Eliezer 理论的反面吗……？

Leopold： 用核威慑保护数据中心。这就是20世纪50年代末、60年代初的柏林。Eisenhower 和 Kennedy 都曾多次威胁，如果苏联试图 侵占西柏林，就会发动全面核战争。

这有点疯狂。令人难以置信的是，这竟然奏效了。基本上，这将是保护数据中心的唯一选择。这是一个糟糕的选择。整个计划都很糟糕。在这个阶段处于势均力敌的竞赛状态是非常糟糕的。

关于获得这种决定性优势有多容易，我存在一些不确定性。我相当有信心，如果你拥有超级智能，拥有两年时间，拥有机器人，你就能获得30年的领先优势。然后你就会处于类似第一次海湾战争的局势中。你拥有数百万或数十亿只蚊子般大小的无人机，可以轻易摧毁目标。甚至有可能更早获得决定性优势。

有这样一些关于16世纪殖民的历史：几百名西班牙人竟然推翻了阿兹特克帝国 (Aztec Empire) 以及其他几个帝国。这些帝国每个都有几百万人口。这并非因为具备神级技术优势。这只是一定程度的技术优势。还借助了一些疾病以及狡猾的战略博弈。

有可能即使在早期阶段——当你还没有经历完整的工业爆发时——你拥有了超级智能，但你能够操纵敌方将领，声称与他们结盟。然后你拥有了一些疯狂的新型生物武器。甚至可能有某种方法能轻易使敌方核武器失效。这些情况可能会变得非常疯狂。

我们应该这么做。我真的不希望经历这个动荡时期。与中国达成协议将是件好事。如果你处于这种不稳定的平衡状态，那将非常艰难。我们希望达到这样一种明确的境地：美国和民主盟友组成的联盟必将获胜。这一点对美国显而易见，对中国也显而易见。这将需要严密封锁机密，在美国建成 100 吉瓦的集群，部署天然气设施，并完成所有必要的工作。

当民主联盟明显遥遥领先时，你去找中国，向他们提出一项协议。中国会知道我们必将获胜。他们对即将发生的事情感到非常恐惧。我们也会知道我们将获胜，但我们同样对即将发生的事情感到非常恐惧，因为我们非常想避免在最后阶段发生这种不顾一切的竞赛。事情很容易失控。

我们向他们提出协议。他们有动机回到谈判桌前。我们可以达成一个更稳定的安排。这是一个类似于“原子能和平用途 (Atoms for Peace)”的安排。我们表示，“看，我们将尊重你们。我们不会利用超级智能对付你们。你们可以做自己想做的事。你们将在星系中分到属于自己的一份。

我们将与你们共享利益。我们将达成计算资源协议，规定允许你们拥有的计算资源比例，并通过互相监督的 AI 来执行。我们只是不会进行这种后果难料、拼得鱼死网破的大规模杀伤性武器军备竞赛。”

这是一个由美国领导、由民主主导，但尊重中国并允许他们自由发展的新世界秩序。

Dwarkesh： 这里面信息量太大了。关于星系的事情，有一个有趣的轶事。我很想分享一下。我们在参加一个活动。我在这里遵守 查塔姆研究所规则 (Chatham House rules)。我不会透露任何具体信息。Leopold 当时正在和一位有影响力的人交谈。之后，那个人告诉大家，“Leopold 告诉我，在准备好买下星系之前，他不会在任何消费上花钱。”

那个人说，“老实说，我不知道他说的‘星系’是指 银河 (Galaxy) 品牌 的私人飞机，还是真实宇宙中的星系。”现场真的发生了一场争论。他去洗手间了。一群有影响力的人真的在争论他是否指的是“银河”私人飞机。而其他更了解你的人则说，“不，他指的是宇宙中的星系。”

Leopold： 我指的是宇宙中的星系。买下星系有两种方法。在超级智能之后的某个时刻，会有一些疯狂的……

Dwarkesh： 我笑得不行，什么也没说。我们正在进行这场辩论。Leopold 回来了。有人说，“哦，Leopold，我们正在争论你是指想买‘银河’飞机，还是想买另一个东西。”Leopold 以为他们争论的不是“银河”私人飞机和真正的银河系，而是争论他想购买银河系的产权，还是想现在就发射探测器。

Leopold： 完全正确。

Dwarkesh： 好了，回到中国的话题。关于那个计划，以及你能否获得“分到一部分星系”的可靠承诺，我有很多问题想问。

Leopold： 你会有 AI 来帮你监督执行这些安排。

Dwarkesh： 好的，我们暂且不谈这个。那是一个不同的复杂话题。我想问的是……

Leopold： 实现这一目标的唯一途径就是实施严密封锁。如果我们不封锁，我们将陷入狂热的挣扎之中。这将是人类有史以来面临的最大危机。

Dwarkesh： 在这个时期，他们并不真正了解这种 AI 治理将如何运作，他们是否会进行核查，我们是否会裁决星系的归属。数据中心无法建在地下。它们必须建在地上。台湾就在中国沿海。美国需要那里的芯片。

为什么中国不直接入侵？对他们来说，最糟糕的情况是美国在超级智能竞赛中获胜，而这正是我们目前的发展轨迹。这难道不会促使他们入侵台湾，或者炸毁亚利桑那州的数据中心之类的吗？

Leopold： 你提到了数据中心。你可能不得不用核报复的威胁来保护它。他们可能直接把它炸掉。他们也有办法在不留下证据的情况下做到这一点。

Dwarkesh： 震网病毒 (Stuxnet)。

Leopold： 震网病毒 (Stuxnet)，是的。我们稍后会讨论，但我们需要为中国项目开发一种类似震网病毒 (Stuxnet) 的工具。我谈到过2027年左右实现 AGI。关于台湾，你知道“可怕的二十年代”吗？

Dwarkesh： 不知道。

Leopold： 在台湾观察家圈子中，人们经常谈论2020年代末是 台湾最危险的时期。过去一二十年的军事现代化周期和美国军事预算的极端财政紧缩意味着，就整体海军能力而言，我们在2020年代末正处于低谷。

那就是中国宣称他们要做好准备的时候。这和 AGI 的时间线恰好是平行的。是的，入侵台湾看起来很有吸引力。也许不是为了那些可以被远程切断、导致机器 停摆 的芯片。但是想象一下，如果在冷战期间，世界上所有的铀矿床都在柏林。柏林已经多次几乎引发核战争了。上帝保佑我们吧。

Dwarkesh： Leslie Groves 实际上在战后有一个计划，即美国将在世界各地获取每一个铀矿床的权利，因为他们没有意识到世界上有多少铀。他们认为这是可行的。当然，他们没有意识到 苏联本土也有巨大的铀矿床。

Leopold： 东德也是。许多东德工人吃尽了苦头，还患上了癌症。

Dwarkesh： 我们一直假设的框架——我不确定我是否认同——是美国握有这种筹码。这是我们的数据中心。中国目前是竞争对手。显然，事情的发展并非如此。私营公司控制着这些 AI。它们正在部署这些 AI。这是一个基于市场运作的事物。为什么会是美国握有这种筹码并采取这些行动，而不是中国来做这些事？

Leopold： 存在描述性和规范性的主张，或者说实证性和规范性的主张。我主要想说的是，在这些旧金山 (SF) 的聚会上，人们谈论 AGI 时总是将焦点集中在私营 AI 实验室上。我想挑战这一假设。

由于我们讨论过的原因，国家安全机构似乎很可能会介入。这可能表现为多种形式：国有化、公私合作伙伴关系、类似国防承包商的关系，或者是一个吸收了所有相关人员的政府项目。这存在很多可能性，但人们极大低估了这最终演变成一个政府项目的可能性。

当我们的集群上拥有真正的超级智能时——拥有十亿名可以黑入一切、对中国数据中心发起类似震网攻击、并建立机器人军队的超级智能科学家——你真的认为那会是一家私营公司吗？政府的反应将会是，“天哪，到底发生了什么？”

国家主导与私人主导的 AI

Dwarkesh： 假设没有中国，假设有像伊朗和朝鲜这样的国家，理论上他们可能实现超级智能，但他们并没有紧跟我们的步伐。在那种情况下，你主张由国家主导项目，还是更倾向于私营部门的发展路径？

Leopold： 对此有两点回应。首先，世界上仍然存在俄罗斯和其他国家。

你需要能防住俄罗斯的安全措施。你不能让俄罗斯窃取你所有的成果。他们的计算集群可能没有那么大，但他们仍然可以制造出疯狂的生物武器和蚊子大小的无人机群。

安全部分是该项目的重要组成部分，因为没有其他方法可以防止这项技术瞬间扩散给所有人。你仍然需要应对俄罗斯、伊朗和朝鲜。沙特阿拉伯和伊朗会试图获取它来互相攻击。巴基斯坦和印度也会试图获取它来互相攻击。这会带来巨大的不稳定。

尽管如此，我同意你的观点。如果通用人工智能 (AGI) 在 2005 年美国霸权无与伦比的时期出现，那么政府少介入的余地会更大。但正如我们所讨论的，那将是历史上一个独特的时刻。在几乎所有其他历史时刻，都会有大国竞争对手。

Dwarkesh： 让我们深入探讨这场辩论。我的立场是这样的。回顾参与曼哈顿计划的人，许多人后悔参与其中。我们可以由此推断，我们应该对人工超级智能 (ASI) 项目采取谨慎的态度。

Leopold： 他们后悔参与是因为项目本身，还是因为技术本身？人们会后悔，但这关乎技术的本质，而不是项目本身。

Dwarkesh： 他们可能有一种感觉，如果这不是一项大家同意参与的一致努力，也许会做出不同的决定。如果不是为了在竞争中击败德国和日本，也许根本不会去开发它。那是技术层面的原因。

Leopold： 由于其破坏潜力和军事潜力，它注定会成为一种武器。这并非因为项目本身。而是因为技术的本质。无论如何，这一切都会发生。

想象一下你在十年内经历了整个 20 世纪——

Dwarkesh： 让我们顺着这个例子往下推演。假设 20 世纪的进程在十年内走完。

你认为 20 世纪出现的那些技术不应该私有化吗？它应该是一个更协同的、由政府主导的项目吗？

Leopold： 军民两用技术有着悠久的历史。人工智能也将同样具备军民两用性。它会有很多民用用途。就像核能一样，政府项目开发了其军事用途，然后与私营公司合作。直到环保主义者介入之前，核能曾经有过一段繁荣期。

飞机也是一样，比如波音公司。二战期间曼哈顿计划并不是最大的国防研发项目。最大的项目是 B-29 轰炸机，因为他们需要一种航程足够长、能够飞抵日本摧毁其城市的轰炸机。波音公司制造了 B-47 以及美军今天仍在使用的 B-52 飞机。后来，他们利用这些技术建造了 707。

Dwarkesh： 在这种语境下，“后来”意味着什么？我明白战后私有化意味着什么。但如果政府掌握了 ASI……

让我退一步解释一下我的担忧。我们在社会中拥有这样一个垄断暴力的机构。我们将让它获得尚未广泛部署的 ASI 的访问权限。这听起来可能有些傻，但设想我们正在经历越来越高层次的智能。监管机构将要求私营公司加强安全。它们仍然是私营公司。

他们将部署并发布 AGI。现在，麦当劳、摩根大通以及某些初创公司将成为更高效的组织，因为他们拥有 AGI 员工。这将类似于工业革命，其红利被广泛共享。

退一步说，我们到底想做什么？为什么我们想战胜中国？我们想赢，是因为我们不希望自上而下的专制系统获胜。如果击败这种系统的方法是让自上而下的政府控制对人类最重要的技术，那还有什么意义呢？

让我们把赌注押在私有化上。这就是我们为 ASI 实现我们所期望的经典自由市场体系的途径。

Leopold： 好吧，这里有很多需要探讨的地方。我将首先审视私有化世界会是什么样子。这也是为什么没有其他替代方案的部分原因。然后我们再看看政府项目会是什么样，制衡机制又是什么样，等等。

让我们从私有化世界开始。许多人在谈论开源。存在一种误解，认为 AGI 的开发将是一个美好的、去中心化的过程，一个由狂热程序员组成的社区协同合作。未来的情况绝非如此。这将是一个价值千亿美元甚至万亿美元的计算集群。没有多少人会拥有它。

现在开源运作良好，是因为人们使用已发布的东西。他们使用已发布的算法，或者像 Mistral 一样，离开 DeepMind，带走所有机密，然后复制它。

这种情况不会持续下去。人们还会说诸如“我的手机里会有 10^26 次浮点运算能力”之类的话。不，不会的。摩尔定律 现在非常缓慢。AI 芯片在不断改进，但千亿美元的计算机在你有生之年不会降到 1000 美元。因此，在私营领域将只会存在两三个主要玩家。

你谈到了超级智能和政府将拥有的巨大力量。在另一种情况下，很可能由一家 AI 公司掌握这种力量。假设 OpenAI 领先六个月。你谈论的可是有史以来最强大的武器。你是在把重注押在一位担任仁慈独裁者的私营公司 CEO 身上。

Dwarkesh： 不一定。就像任何其他私有化事物一样，我们并不指望他们是仁慈的。想象一个生产工业化肥的人。如果这个拥有这家工厂的人回到古代文明，他们可以炸毁罗马。他们甚至可能炸毁华盛顿特区。

Leopold： 确实。

Dwarkesh： 在你的系列文章中，你提到了泰勒·考恩 (Tyler Cowen) 的一句话“蒙混过关 (muddling through)”。即使是私有化，人们也低估了这样一个事实：许多控制水供应等重要资源的都是私营实体。

我们可以依靠合作和基于市场激励机制来维持力量平衡。诚然，事情发展得非常快。我们有很多历史证据表明这是最行之有效的方法。

Leopold： 我们该如何应对核武器？我们并非通过强化第二修正案，让每个州拥有自己的核武库来限制核武器。达里奥 (Dario) 和萨姆 (Sam) 并没有自己的小型核武库。

不，限制核武器靠的是制度、宪法、法律和法院。我不确定这种力量平衡的类比是否站得住脚。政府拥有最强大的武力是一项巨大的文明成就，就像神圣罗马帝国中的国家和平 (Landfrieden)。如果邻镇的人犯了罪，你不会在城镇之间发动战争。你把它交给神圣罗马帝国的法院。由他们来裁决。这是一项了不起的成就。

与工业化肥类比的关键区别在于速度和攻防平衡问题。这就像将整个 20 世纪压缩到短短几年内。由于破坏性技术和军事技术的快速进步，这令人感到极度恐惧。

你会在几年内从刺刀和战马发展到坦克部队和战斗机。再过几年，你就会拥有核武器、洲际弹道导弹和隐形技术。这种速度制造了一个极其动荡和危险的时期。我们必须熬过那段时期，这将是无比艰难的。

这就是为什么政府项目必不可少。如果我们能熬过那个阶段，局势就会稳定下来。我们将不再面临这种迫在眉睫的国家安全威胁。是的，大规模杀伤性武器确实发展起来了，但我们成功地建立了一种稳定的攻防平衡。

生物武器在初期是一个巨大的问题。攻击者可以制造并传播 1000 种不同的合成病毒。很难防御每一种病毒。也许在某个时刻，你找出了一种针对所有可能病毒的通用防御方法，那么你在攻防平衡上就再次处于稳定状态。或者像飞机一样，你限制私营部门不允许拥有某些特定能力，然后你就可以让民用领域自由发展。

Dwarkesh： 我对此持怀疑态度。

Leopold： 这是另一个重要问题。我谈到过一家公司掌握所有这些力量。这是史无前例的，因为生产工业化肥的人无法推翻美国政府。但拥有超级智能的 AI 公司很可能做到这一点。

Dwarkesh： 会有多家 AI 公司，对吧？我同意其中一家可能会领先。

Leopold： 是否会有多家公司并不明朗。如果存在六个月的领先优势，也许会有两到三家。

Dwarkesh： 我同意。

Leopold： 如果有两到三家，那么这些公司之间就会展开疯狂的竞赛。杰米斯 (Demis) 和萨姆会觉得：“我不能让对方赢。”他们都在开发自己的核武库和机器人。

拜托，政府是不会让他们这么做的。达里奥会是那个开发超级黑客震网病毒 (Stuxnet) 并将其部署到中国数据中心的人吗？

另一个问题是，如果是两三家公司，就不会仅仅是两三家。还会有中国、俄罗斯和朝鲜。在私营实验室的世界里，他们不可能具备足够好的安全保障。

Dwarkesh： 我们还假设，一旦将其国有化——尤其是在中共已经把这种情况计入预期的世界里——你就能把它牢牢锁住。我不明白我们凭什么指望这一点。

Leopold： 政府是唯一从事这类事务的实体。

Dwarkesh： 如果我们不相信萨姆或达里奥会成为仁慈的独裁者……

Leopold： 这只是普遍的公司治理问题。

Dwarkesh： 既然它能用来发动政变，政府项目不也同样具备这种能力吗？2025 年最有可能的总统，唐纳德·特朗普 (Donald Trump)，将成为拥有这种能力的人，相比之下你不信任萨姆或达里奥。我同意如果萨姆和达里奥在 ASI 方面领先一年，在那种情况下我也会对私有化感到担忧。

在完全相同的世界里，我非常担心唐纳德·特朗普掌握这种能力。如果起飞速度比预期的慢，我可能会倾向于在这个世界上由私营公司主导。在这个矩阵的任何一部分中，都无法明显看出政府主导的项目更好。

Leopold： 让我们谈谈政府项目和制衡机制。

在某种意义上，我的论点属于伯克主义 (Burkean)。美国的制衡机制经历了疯狂的技术革命，已经维持了 200 多年。美国军队有能力杀死美国的每一位平民。

Dwarkesh： 你会提出这样的论点。公私力量的平衡已经维持了数百年。

Leopold： 但是，它为什么能维持下来？那是因为政府拥有最强大的武力。以往从未有过哪个 CEO 或随便哪个非营利组织董事会拥有发射核武器的能力。

政府制衡机制的记录与私营公司制衡机制的记录相比如何？AI 实验室的第一次压力测试结果非常糟糕。

在私营公司的世界里，情况甚至更糟：两家私营公司，再加上中共。中共会瞬间拿到所有技术。私营公司可能没有足够好的内部控制，而且不只是某个不靠谱的 CEO，流氓员工也能利用这些超级智能为所欲为。

Dwarkesh： 政府就不会出现这种情况吗？项目中难道不存在流氓员工吗？

Leopold： 政府拥有数十年处理此类事务的实际经验，并且真正关心这些问题。他们处理核武器和极其强大的技术。这正是国家安全机构所关心的。

让我们稍微谈谈政府的制衡机制。政府领域中的制衡机制是什么？首先，建立某种国际联盟非常重要。我之前提到过这两个层级。内层联盟以魁北克协定 (Quebec Agreement) 为蓝本，即丘吉尔和罗斯福同意汇集核武器研发的努力，但不将它们用于相互攻击，未经彼此同意，也不对任何其他国家使用。

将拥有 DeepMind 的英国、拥有芯片供应链的东南亚国家以及拥有人才和工业资源的更多北约盟国纳入其中。随着更多国际国家的参与，你就拥有了这些制衡机制。

此外，你还有第二层联盟，即“原子能和平用途 (Atoms for Peace)”。你可以去找包括阿联酋在内的国家，达成类似于核不扩散条约 (NPT) 的协议。他们不得从事疯狂的军事活动，但我们会与他们分享民用应用，帮助他们分享红利，建立一个后超级智能世界的新秩序。

美国的制衡机制：国会必须参与拨款数万亿美元。理想情况下，国会需要确认由谁来管理这个项目。你将面对国会、政府的不同派别以及法院。我预计第一修正案仍将极其重要。

这对人们来说听起来很疯狂，但这些制度已经以强大的方式经受住了时间的考验。这就是为什么对齐如此重要。你对 AI 进行编程以遵守宪法。军队能够运转是因为将军们不被允许服从非法的或违宪的命令。你对 AI 也有相同的约束。

Dwarkesh： 那么这个论点有什么问题呢？在一个起飞速度极快的世界里（从 AGI 到 ASI 只有一年），你可能有些道理。

Leopold： 接下来就是 ASI 之后的岁月，你会看到技术进步的惊人爆发。

Dwarkesh： 也许你有你的道理。我们不得而知。你有论据证明为什么那是一个更有可能出现的世界，但也许我们生活的并不是那个世界。

在另一个世界中，我非常支持确保这些事物掌握在私人手中。当你实行国有化时，那是一条单行道。你无法回头。

为什么不等我们有更多证据表明我们生活在哪个世界时再做决定呢？在我们还不确定的情况下，仓促实施国有化可能是一个糟糕的主意。我让你先回应这一点。

Leopold： 我不期望我们明天就实行国有化。如果真要说的话，我预计会像应对新冠疫情一样，到时候可能有点太晚了。理想情况下，你应该尽早实施国有化以便封锁机密。这很可能会陷入混乱。你会试图启动一项紧急计划来封锁机密。那将会有点晚。局势将会变得明朗。我们不会在情况不明朗的时候实行国有化。

Dwarkesh： “这些制度在历史上一直保持得很好”的论点是有缺陷的。实际上，它们好几次差点崩溃。

Leopold： 它们挺过来了。它们在第一次经受考验时并没有崩溃。

Dwarkesh： 这类似于一些人关于核战争的论点：我们拥有核武器 80 年了，一直相安无事，所以风险肯定很低。答案是否定的，风险非常高。我们之所以能避免核战争，是因为人们为了防止核战付出了大量努力。在不知道后果的情况下就把 ASI 交给政府，算不上付出了这种努力。

看看基准概率。美国非常例外，不仅仅是在避免独裁方面。历史上几乎所有其他国家都因战争、革命等原因经历过财富的彻底消耗。美国在避免这些灾难方面是非常独特的。

我们必须考虑历史基准概率。在过去 80 年里，我们很少考虑大国竞争，但它意义重大。独裁是人类的默认状态。在 ASI 世界中依赖制度有着根本的不同。现在，如果政府试图发动政变，在没有 ASI 的情况下要困难得多。民众手中有 AK-47 和 AR-15，这增加了难度。

Leopold： 政府可以轻松碾压那些拿着 AR-15 的人。

Dwarkesh： 不，实际上会相当困难。这就是越南战争和阿富汗战争如此艰难的原因。

Leopold： 他们可以直接用核武器摧毁整个国家。

Dwarkesh： 我同意。

Leopold： 他们是可以这么做的。这与 ASI 的情况类似。

Dwarkesh： 如果你拥有你刚才提到的那些东西，事情就会变得容易得多。

Leopold： 不，我们有制度、宪法、法律约束、法院和制衡机制。疯狂的赌注是把一切押在一家私营公司的 CEO 身上。

Dwarkesh： 核武器不也是这样吗？我们有关于防扩散的制度协议。我们仍然非常担心这些协议被打破，担心有人获取核武器。我们常常因为担心那种情况而彻夜难眠。

Leopold： 这是一个充满危机的局面。ASI 也将是一个充满危机的局面。考虑到核武器的危险程度，我们已经做得相当不错了。

Dwarkesh： 在这个世界上，私有化到底意味着什么？之后会发生什么？

Leopold： 我们正在讨论政府项目是否是件好事。对此我的感觉也非常复杂。

我的主要论点是，如果你到了这东西拥有远超人类能力的阶段——它可以开发针对特定人群（例如只杀死非汉族人的疯狂生物武器），它可以消灭整个国家，它可以建立机器人军队和拥有蚊子大小无人机的无人机群——美国的国家安全机构就将深度介入。

政府项目将看起来像是云服务提供商、实验室和政府之间的合资企业。在如此疯狂的时期，政府不参与其中是不可能的。至少，情报机构需要负责这些实验室的安全。他们已经在控制所有访问权限。

如果我们处于动荡的国际局势中，最初的应用将侧重于稳定局势。这会很糟糕。这不是我想要使用 ASI 的目的。但不知何故，我们需要防止新的大规模杀伤性武器扩散，并与朝鲜、俄罗斯和中国维持相互确保摧毁的平衡。

现实的可能性光谱比你承认的要宽广得多。在一个存在私人实验室的世界里，将会有大量的政府介入。我们争论的是政府介入的形式，但它看起来会更像国家安全体系，而不是像它现在这样的初创公司。

Dwarkesh： 诸如此类的说法很有道理。如果它像曼哈顿计划那样，直接成为美国军方的一部分，我会非常担心。如果它更像是，在进行下一次训练之前需要先与杰克·沙利文 (Jake Sullivan) 谈一谈……

Leopold： 洛克希德·马丁的臭鼬工厂 (Skunk Works) 是美国军方的一部分吗？他们说了算。

Dwarkesh： 我认为那不太好，如果这发生在 ASI 上那就更糟了。你会设想什么场景？

Leopold： 有什么替代方案吗？还能怎么做？

Dwarkesh： 更接近我这边的观点。你必须在启动下一个计算集群之前与杰克·沙利文交谈，但仍有许多公司在全力以赴，政府也会参与安全保障。

Leopold： 是达里奥在发动震网攻击吗？

Dwarkesh： 发动是什么意思？

Leopold： 是达里奥让中国的数据中心瘫痪吗？

Dwarkesh： 这与你现在可以讲述的关于大型科技公司的故事类似。萨蒂亚 (Satya) 如果愿意的话，可以让他手下的工程师找出 Windows 的零日漏洞，然后潜入总统的电脑。就现在而言，萨蒂亚完全做得到。

Leopold： 他们会被查封的。

Dwarkesh： 你什么意思？

Leopold： 政府不会允许他们这么做。

Dwarkesh： 有这样一种推论，他们可以发动政变。

Leopold： 他们不可能发动政变。

Dwarkesh： 好吧，我同意。多家公司展开竞争的场景有什么问题？AI 仍然会被广泛部署。对齐能够奏效。系统级别的提示词限制它不能帮助人们制造生物武器之类的东西。它仍然会被广泛部署。

Leopold： 我预计 AI 会被广泛部署。

Dwarkesh： 即使它是政府项目？

Leopold： 是的，我认为世界上像 Meta 这样的公司开源他们落后两年的 AI 是非常有价值的。这里会存在一些问题：攻防平衡是否合适，开源两年前的 AI 是否合适。或者对最极端的军民两用能力施加限制，比如不允许私营公司出售疯狂的武器。

这太棒了，将有助于技术扩散。在政府项目之后，将有一个初期紧张阶段。希望最终能够稳定下来。然后，就像波音那样，他们会转向各种蓬勃发展的民用应用，就像当年的核能一样。民用应用将会迎来属于它们的时代。

Dwarkesh： 这将如何推进？因为在另一个世界里，现有的资本存量价值巨大。

Leopold： 谷歌的计算集群仍然会存在。

Dwarkesh： 所以谷歌因为获得了政府合同，将控制 ASI？但他们为什么还要与其他人交易呢？

Leopold： 反正都会是同样的这些公司在做这件事。在这个世界里，他们只是与政府签订合同，或者受到国防生产法 (Defense Production Act) 的约束，这样他们所有的算力都归政府所有。在某种意义上这是非常自然的。

Dwarkesh： 在你获得了 ASI 之后，并且我们正在建造机器人军队和核聚变反应堆……

Leopold： 只有政府才能建立机器人军队。

Dwarkesh： 现在我开始担心了。或者是核聚变反应堆之类的东西。

Leopold： 这正是我们今天对核武器的做法。

Dwarkesh： 如果你已经拥有了机器人军队和一切，现有社会将不再拥有某种筹码，让政府认为有理由去——

Leopold： 他们今天也没有这样的筹码。

Dwarkesh： 他们有，从某种意义上说，他们拥有政府想要的巨额资本。还有其他的东西。为什么二战后波音被私有化了？

Leopold： 政府拥有最大的武力。我们监管的方式是通过制度、宪法、法律约束、法院等。

Dwarkesh： 告诉我，在随后的 ASI 世界里，私有化是什么样子的。

Leopold： 在那之后，它就像波音的例子一样。

Dwarkesh： 谁会得到它？

Leopold： 谷歌和微软，那些 AI 实验室——

Dwarkesh： 他们要卖给谁？他们已经拥有了机器人造物工厂。他们为什么要卖给我们？他们不需要我们提供任何东西。在 ASI 世界里，这些都只是零头小利，因为在这个起飞阶段，我们并没有让 ASI 被广泛部署。

我们没有机器人、核聚变反应堆，也没有你所说的领先几十年的先进科学。他们为了什么跟我们交易？

Leopold： 跟谁交易什么？

Dwarkesh： 与所有没有参与该项目的人进行交易。他们拥有领先几十年的技术。

Leopold： 经济分配如何运作，那是一个全新的问题。我不知道。这将会很艰难。我只是说，我看不到其他选择。如果选择另一条路，就是推翻拥有 500 年历史的“国家和平 (Landfrieden)”这一文明成就。你基本上是在瞬间将这些技术泄露给了中共。

要么你勉强保持领先，但你深陷于狂热的挣扎中，并扩散了疯狂的大规模杀伤性武器。这对于对齐来说是极其危险的，因为在最后阶段你处于一场疯狂的竞赛中，你没有能力花六个月的时间把对齐做好。另一种选择是不集中力量去赢得这场对抗专制强权的竞赛。

我不喜欢这样。我希望我们利用 ASI 治愈疾病，做尽世间所有的好事。但我的预测是，在最终阶段，危在旦夕的不仅仅是酷炫的产品，而是自由民主能否存活，中共能否存活。

下一个世纪的世界秩序将会是什么样？当这些都悬而未决时，被激活的力量将远远超出我们现在讨论的范畴。在这场疯狂的最终竞赛中，国家安全方面的影响将是最重要的。

回到二战，核能确实迎来了它的时代，但在最初发现这项技术的时候，你必须稳定局势。你必须造出核弹，并把事情做对。然后民用应用才有了出头之日。

Dwarkesh： 我同意核能是后来发生的事情并且具有军民两用性。但它实际上是在核武器研制成功整整十年之后才出现的。

Leopold： 没错，因为所有事情都需要很长时间。

Dwarkesh： 而对于人工智能，所有的应用都会立即解锁。这更接近人们对 AGI 的类比。假设你们社会多了 1 亿个约翰·冯·诺伊曼 (John von Neumann)。

如果那真的发生了，如果明天你们社会多了 1 亿个这样的人，我不认为我们的做法会是担心其中一些人会转投 ISIS 阵营，或者担心“如果有一大批出生在中国怎么办？”我不认为我们会谈论把所有的约翰·冯·诺伊曼都国有化。

我认为这总体上是件好事。但我会担心一个大国包揽了所有的约翰·冯·诺伊曼。

Leopold： 问题在于，你要在极短的时间内，封存住这种巨大的技术进步的爆发和工业的爆炸式增长。我们确实担心那 1 亿个约翰·冯·诺伊曼。

我们为什么要担心中国的崛起？那是 10 亿人口，能够推动大量的工业和技术发展。这就像是中国崛起的 100 倍。这不仅仅是 10 亿人，而是 10 亿个超级智能的个体。而且，这一切都在极短的时间内发生。

Dwarkesh： 实际上，如果目标是战胜中国，那么保护我们自己也是其中的一部分。

Leopold： 战胜中国只是目标之一。我们还希望管控这个极其疯狂、令人恐惧的时期。

Dwarkesh： 没错。其中一部分是确保我们不向他们泄露算法机密。

Leopold： 建造价值万亿美元的计算集群。

Dwarkesh： 对的。但你之前的观点难道不是说微软可以发行公司债券吗？

Leopold： 微软可以筹集数千亿美元。万亿美元的集群更接近于国家级别的努力。

Dwarkesh： 我以为你之前的观点是美国资本市场深度够且运作良好。

Leopold： 它们确实相当好。通过私营途径建立万亿美元集群是有可能的，但将非常艰难。

Dwarkesh： 此时，我们拥有正在迅速加速生产力的 AGI。

Leopold： 万亿美元集群将在 AGI 出现之前就规划好。你在 10 吉瓦的集群上获得了 AGI。也许再经过一年的最终解锁，使其完全发挥潜力。然后你就会迎来智能爆炸。

与此同时，万亿美元集群也即将完工。你在上面运行你的超级智能。你还在各处的推理集群上拥有数亿个 GPU。

Dwarkesh： 在这个世界里，我认为私营公司拥有他们的资本，并且能够筹集到资金。

Leopold： 你需要政府的介入才能快速完成。

Dwarkesh： 我们知道私营公司正走在这条路上。在中国，如果他们不受气候变化或其他因素的阻碍——

Leopold： 这就是我想表达的一部分意思。

Dwarkesh： 如果击败中国真的那么重要的话……

会有各种实际困难。AI 研究人员会真正加入这个 AI 计划吗？如果他们加入，目前至少有三个不同的团队在不同的公司进行预训练。

谁在某个时候决定你必须去随性地测试 (YOLO) 那些超参数？谁来做这个决定？将极其复杂的研发流程跨越截然不同的组织进行整合，真的能让美国加速对抗中国吗？

Leopold： Google Brain 和 DeepMind 已经合并了。虽然有点混乱，但结果很好。

Dwarkesh： 那是相当混乱的。而且那是同一家公司，且处于更早期的流程中。

Leopold： 情况很类似，对吧？不同的代码库，许多不同的基础设施和团队。过程并不是最顺利的，但 DeepMind 现在做得非常好。

Dwarkesh： 你举了新冠疫情的例子。在新冠疫情的例子中，我们意识到了问题，也许有些晚，但随后我们投入了所有这些资金。政府应对新冠疫情的举措是一场彻头彻尾的灾难。我同意“曲速行动 (Operation Warp Speed)”是由政府促成的，但实际上它只是给予了许可，让你实际上可以——

Leopold： 它还做出了巨额的预先市场承诺。

Dwarkesh： 我同意。但从根本上说，这是一项私营部门主导的努力。那是新冠疫情应对中唯一奏效的部分。

Leopold： 该项目将看起来更像曲速行动。所有公司都会参与到政府项目中。我并不认为合并有那么困难。你可以用一个代码库在 GPU 上运行预训练，然后用另一个代码库在 TPU 上执行第二步。这没问题。

至于人们是否会报名参加，他们今天不会报名的。这对人们来说似乎很疯狂。

但这也是保密工作的一部分。人们在聚会上相聚，而且……你知道的。我不认为有谁真正站在这些人面前说：“听着，你们正在建造的是对美国国家安全、对自由世界的未来、对我们是否还能拥有下一个世纪而言最重要的事情。这对你们的国家和民主非常重要。不要谈论这些机密。”这不仅仅是关于 DeepMind 或是别的什么。这关乎这些极其重要的事情。

我们在谈论曼哈顿计划。它最初引发了极大的争议，但在某个时刻，很明显这种情况即将到来。军事国家安全方面出现了紧急情况。很多人会改变看法的。

至于它是否具备足够的胜任能力，很大程度上只是预测。这种情况发生的可能性很大，但很少有人思考这个问题。很多人都在思考 AI 实验室的政治问题，但没有人为这个宏伟的项目制定计划。

Dwarkesh： 他们应该对此感到更加悲观吗？我们没有为其制定计划，我们需要尽快行动，因为 AGI 即将到来。目前唯一有能力构建 AI 的合格技术机构是私营企业。

Leopold： 公司将发挥主导作用。这将是一种合作关系。

我们谈论过二战以及美国准备不足的情况。二战初期完全是一片混乱。美国拥有非常深厚且极具胜任力的管理人才储备。有许多敬业的人士。我想象中，它将会像曲速行动那样是一种公私合作关系。

Dwarkesh： 招募人才是另一个有趣的问题。对于曼哈顿计划，你最初必须说服人们去击败纳粹并加入进来。他们中的许多人后悔自己把原子弹的研发推进得太快。这在战争中是常有的事。

Leopold： 我认为他们后悔是错的。

Dwarkesh： 为什么？

Leopold： 有什么好后悔的理由呢？

Dwarkesh： 战后核武器的发展是爆炸式的，因为有使用核武器的先例。然后，由于由此开启的军备竞赛，大家立刻开始研发氢弹 (H-bomb)。

Leopold： 这与我对 AI 的看法有关，也许这正是我们分歧所在。那是不可避免的。经历了一场世界大战，然后是冷战。当然，各方会以疯狂的强度追求军事方面的应用。在任何一个世界里，我们都不可能一致决定不制造核武器。此外，核武器管控得非常顺利。原本可能会走向极其糟糕的境地。

从物理上讲，本就不可能造出人人都能拥有的“口袋核弹”之类的东西，因此并没有出现大规模杀伤性武器扩散并彻底民主化的局面。美国在核武器方面处于领先地位，建立了一个拥有少数几个大国以及核不扩散体系的新世界秩序。这是一种合作与交易：不将核技术用于军事用途，但会在民用技术方面提供帮助。他们对世界其他地区实施了安全规范。这奏效了，本来情况可能会糟得多。

更不用说，我在文章中提到过，广岛的原子弹其实和燃烧弹轰炸差不多。真正改变游戏规则的是氢弹和洲际弹道导弹 (ICBM)。那才是武器发展到全新高度的时刻。

Dwarkesh： 当你说我们需要告诉人们，为了自由世界的生存必须推进这个项目时，听起来很像二战。二战是一个悲伤的故事，不仅因为它的发生，而且它的胜利也带着一种悲伤：英国当初参战是为了保护波兰。

在战争结束时，就像你的家人所了解的那样，极其残酷的苏联最终占领了半个欧洲。为了保护自由世界而加速发展 AI，最终可能会导致一个美国版的人工智能利维坦 (Leviathan) 的诞生。未来我们回顾这段历史时，可能会感受到一种讽刺，就像英国为保护波兰而卷入二战那样。

Leopold： 将会有许多不幸的事情发生。我只希望我们能熬过去。我们的诉求不会只围绕军备竞赛。竞赛将只是一个背景。重要的是由民主国家来塑造这项技术。我们不能将这些泄露给朝鲜。

安全，包括对齐和防止产生新的大规模杀伤性武器，同样非常重要。我不认为有其他路径。假设我们在国际上展开一场惊心动魄的竞赛，瞬间泄露所有内容，包括模型权重；同时还伴随着一场商业竞赛，杰米斯、达里奥和萨姆都想拔得头筹。这对于安全来说极其不利。

人们通常所说的那种安全监管，就像 NIST 一样，需要多年的官僚程序和专家共识。

Dwarkesh： 难道政府项目最终不也会变成这样吗？

Leopold： 智能爆炸期间的对齐，并不是一个长达数年的官僚过程。它更像是一场战争，伴随着战争迷雾。向下一个数量级 (OOM) 发展是否安全？智能爆炸已经推进了三个数量级，而我们还没完全搞懂正在发生什么。

我们的泛化缩放曲线看起来并不乐观，一些自动化 AI 研究人员说没问题，但我们并不完全信任他们。AI 可能会开始做一些有问题的事情，但我们把它敲打一番就解决了。我们应该继续推进吗？还是再等六个月？

与此同时，中国可能会窃取模型权重，或者部署机器人军队。这是一种疯狂的局面，更依赖于理智的指挥链，而不是一套深思熟虑的监管体系。尽管我希望我们能够采用那种更深思熟虑的监管体系。

私营公司也是如此。私营公司声称他们会做好安全保障，但在商业竞赛中这很困难，尤其是对于初创公司而言。初创公司终究是初创公司。他们不适合处理大规模杀伤性武器。

Dwarkesh： 我开始更倾向于你的立场，但是……

让我们谈谈负责任的扩展政策 (Responsible Scaling Policies)。推动这个想法的人告诉我（因为他们知道我是一个有自由主义倾向的人，所以他们这样跟我沟通），理解它的方式在于：它本质上是保护基于市场的 AGI 开发模式。如果没有它，就会发生滥用并导致国有化。RSP 既能确保基于市场的秩序，又设有防止失控的安全防线。

看来你的逻辑是自洽的。我知道这从来都不是你的立场，所以我不是在把你卷进来。但这几乎就像是一个防守与进攻 (motte-and-bailey) 的论点。

Leopold： 这是我对 RSP 类措施及现行安全法规的看法。它们对于帮助我们了解所处的世界并在危机逼近时发出警告信号非常重要。

我们一直在讲述的故事，是我认为这个十年最有可能发生的情景。但有许多因素可能会证明它是错的。我们应该更多地讨论数据墙。有一种可能，这些技术停滞不前，或者我们没有实现 AGI。

RSP 保留了选择权。让我们看看事态如何发展，但如果红灯开始闪烁，我们需要做好准备。如果我们研发出了自动化的 AI 研究员，那就是关键时刻了。

Dwarkesh： 我可以在这一点上达成共识，并且对追求基于市场的方式持有强烈的前设。除非你对智能爆炸图景的预测是正确的，否则不要轻举妄动。但在那个看似亚历克·拉德福德 (Alec Radford) 真的可以被自动化的世界里，而且那是通往 ASI 的唯一瓶颈……

好吧，我想我们可以在这里打住了。我已经有些被说服了。

Leopold： 我希望一切顺利。那将压力巨大。现在是轻松的时光。趁着假期还在，好好享受吧。

Dwarkesh： 俯瞰这里的景色很有趣。这是旧金山。

Leopold： 是的，OpenAI 就在那儿。Anthropic 也在那里。你们这些人对未来几年的发展拥有巨大的力量，而这种力量正在贬值。

Dwarkesh： “你们这些人”是谁？

Leopold： 实验室里的人。

你所谈论的是一个疯狂的世界。你提到他们可能会过早实行国有化。几乎没有人看清正在发生什么。这就是让我感到压力倍增的原因。

也许我错了，但如果我是对的，我们就处于这种疯狂的境地中，只有几百个人在关注这一切。这令人感到畏惧。

Dwarkesh： 几个月前我去了华盛顿。我和那里从事 AI 政策工作的人交谈过。我问他们认为实行国有化的可能性有多大。他们说国有化非常困难。已经很久没有进行过国有化了。而且，哪些东西可以被国有化有非常具体的程序限制。

然后我问了关于 ASI 的问题。像国防生产法 (Defense Production Act) 这样的限制，是不是意味着它无法被国有化？最高法院会推翻它吗？他们的反应是，“是啊，我想那可能会被国有化。”

Leopold： 这就是我的文章，或者说我对这个项目的观点的简短总结。

19岁成为哥伦比亚大学优秀毕业生代表

Dwarkesh： 在进一步探讨人工智能之前，我们先回顾一下。

我们的对话一开始可能会让大家感到困惑。你19岁就作为优秀毕业生代表从哥伦比亚大学 (Columbia University) 毕业。也就是说，你15岁就上大学了。

那时你在德国，15岁就上了大学。

Leopold： 是的。

Dwarkesh： 这究竟是如何做到的？

Leopold： 我当时非常想离开德国。我就读于一所德国公立学校。那里的环境对我来说并不理想。

Dwarkesh： 哪方面不理想？没有同龄人交流？

Leopold： 德国还有一种独特的文化氛围。在美国，有非常出色的高中，人们也推崇卓越。在德国，存在一种 高大罂粟花综合征 (tall poppy syndrome)。如果你是班里那个充满好奇心、渴望学习更多知识的孩子，老师非但不会鼓励你，反而会反感并试图打压你。

德国也没有面向本科生的精英大学，这让人觉得有些不可思议。德国的精英体制在某个时期被摧毁了。整个社会还弥漫着一种令人难以置信的自满情绪。这总是让我感到困惑，甚至去美国上大学都被视为一种激进的举动。在美国，没有人觉得这很激进，因为这是理所当然的选择。你可以去哥伦比亚大学接受更好的教育。

这对我来说很不可思议，因为这里才是创新发生的地方，你也能获得更好的教育，但德国人却不这么做。我跳了几级，当时觉得15岁上大学并来到美国是很正常的事。我的一个妹妹现在也快15岁了，看着她，我才理解为什么我母亲当年会那么担忧。

Dwarkesh： 那么你大概是唯一的15岁学生。作为一名15岁的大学生，你觉得正常吗？最初的几年是怎样的？

Leopold： 再次强调，当时我觉得这很正常。现在我能理解我母亲的担忧了。我花了一段时间做我父母的思想工作，最终说服了他们。当时感觉一切都很自然。

那段经历很棒。我非常喜欢大学生活。它在我人生的恰当时机出现。我非常欣赏通识教育、核心课程 (core curriculum)，以及阅读政治哲学与文学的核心著作。

Dwarkesh： 你学了什么专业？经济学吗？

Leopold： 我的主修专业是数学、统计学和经济学，但哥伦比亚大学有相当繁重的核心课程与通识教育。坦白说，我不应该修那么多专业。最棒的课程是那些由出色教授讲授的历史课。我建议大家在大学里把时间花在这些课程上。

Dwarkesh： 有哪位教授或哪门课程特别出众吗？

Leopold： 有几门。理查德·贝茨 (Richard Betts) 的 战争、和平与战略课程。亚当·图兹 (Adam Tooze) 也非常出色，写过 非常引人入胜的书籍。顺便说一下，你应该邀请他来参加播客。

Dwarkesh： 我尝试过了。我想你也帮我尝试过邀请他。

Leopold： 你一定要让他上播客。那绝对会非常精彩。

Dwarkesh： 最近，我们在和泰勒·考恩 (Tyler Cowen) 交谈。他说他第一次知道你，是通过你那篇 关于经济增长与生存风险的论文。他说：“当我读到它时，我简直不敢相信这是一个17岁的人写的。如果这是一篇麻省理工学院 (MIT) 的博士论文，我也会感到惊艳。”你当时还是大三学生，就已经在写新颖的经济学论文了？你为什么对这个感兴趣？进入这个领域的过程是怎样的？

Leopold： 我只是对事物感到好奇。这对我来说很自然。我对某件事产生兴趣，就会去阅读相关资料并沉浸其中。我能够快速学习并理解信息。

关于这篇论文，生产力巅峰时刻比平均生产力更重要，至少对于我的工作方式而言是如此。有些工作，比如首席执行官 (CEO)，需要持续的生产力。我会有几个月的时间处于思维活跃的爆发期，而在其他时间，我则在后台默默处理信息。写作那个系列文章的过程也是类似的。当你进入状态时，文思泉涌。这才是最终发挥作用的因素。

Dwarkesh： 即便是对CEO来说，峰值生产力可能也非常重要。我们群聊里的一个朋友在遵循查塔姆研究所规则 (Chatham House rules) 的前提下指出，有多少著名的CEO和创始人曾经患有双相情感障碍或狂躁症。最重要的是你在生产力上的看涨期权，而双相情感障碍带来的波动性，恰恰让你获得这份期权。这很有趣。

你首先对经济学产生了兴趣。为什么是经济学？你本可以阅读任何领域的知识。你在机器学习 (ML) 领域的起步相对较晚。你在经济学上浪费了这么多年时间。在另一个平行世界里，你可能在17岁而不是21岁左右就加入了超级对齐 (superalignment) 团队。

Leopold： 在某种意义上，我仍然在从事经济学工作。我观察图表上的直线、双对数图 (log-log plots)，找寻趋势，并思考反馈循环、均衡态以及军备控制动态。这是一种我发现非常有用的思维方式。

达里奥 (Dario) 和伊利亚 (Ilya) 很早就看到了模型扩展的潜力，从某种意义上说，这是一种非常经济学的思维方式。这也与经验物理学有关。他们中许多人是物理学家。经济学家通常编程能力不足，这是他们的问题所在，但关键在于那种思维方式。

我还认为经济学中许多核心理念非常优美。在某种意义上，我感觉有点被骗了，因为现在的经济学学术界有些颓废。我写的那篇论文很长，有100页的数学公式，但核心结论可以在30秒内解释清楚，而且完全合乎逻辑，你根本不需要那些数学推导。最优秀的经济学研究都是如此。

你付出努力去发掘以前对你来说并不明显的见解。一旦你完成了这些工作，某种机制就会随之显现，它能提供非常清晰、直观的理解，并解释现实世界的事实。然后你就可以在论证中使用它。经济学入门课程 (Econ 101) 在这方面做得很好。五十年代和六十年代的许多经济学研究也是如此。查德·琼斯 (Chad Jones) 的论文往往就是这种风格。这也是我非常喜欢他的论文的原因。

我最终为什么没有追求经济学学术生涯？有几个原因，其中之一就是泰勒·考恩。他把我拉到一旁说：“我认为你是我见过的最顶尖的年轻经济学家之一，但你可能不应该去读研究生。”

Dwarkesh： 哦，有意思。真的吗？我都没意识到。

Leopold： 是的，这很好，因为他算是把我介绍给了推特 (Twitter) 上的那些奇人异士。我认为从中得出的结论是，我必须再次向西岸搬迁。

Dwarkesh： 等等，泰勒把你介绍给了推特上的奇人异士？

Leopold： 有一点吧。或者说是那种更广泛的文化？

Dwarkesh： 一个60岁的经济学家把你介绍给了推特？

Leopold： 我之前一直在德国，完全处于边缘地带，然后搬到了美国的一所精英机构。我感受到了美国精英体制社会的氛围。那里有一份通讯录。为了寻找真正的美国精神，我必须来到这里。

我没有成为一名经济学家，或者至少没有从事经济学学术研究的另一个原因是，经济学学术界已经变得有些颓废了。也许只是因为现在更难找到新的想法，或者所有优美、简单的理论都已经被发现了。

但现在的经济学论文都是些什么？它们通常是长达200页的实证分析，研究诸如在威斯康星州多买10万本教科书会如何影响教育成果之类的问题。我很高兴有人做这些工作。这是重要的工作，但它并没有揭示社会中的根本见解与机制。

即使是理论研究也常常涉及非常复杂的模型，模型会得出类似“美联储执行X，然后Y发生”的结论，而你根本不知道为什么会发生这样的结果。模型里有无数的参数，它们都以某种方式被校准，这只是一个计算机模拟，你根本无法验证其有效性。最重要的见解是那些你需要付出大量努力才能获得，但随后会产生清晰直觉的见解。

Dwarkesh： 就像……的 P 与 NP 问题。

Leopold： 对，没错。

Dwarkesh： 这非常有趣。回到你的大学时光，你说峰值生产力可以解释这篇论文等成就。但成为优秀毕业生代表、拿到全A的成绩，在很大程度上是一个平均生产力现象。

Leopold： 平均绩点 (GPA) 最高的人会获得一个奖项，我拿到了那个奖，但优秀毕业生代表是由教职员工从拥有最高GPA的学生中选出的。

Dwarkesh： 因此，这不仅仅是峰值生产力的结果。

Leopold： 我只是总体上很喜欢这些内容。我充满好奇心，觉得这非常有趣，并且很享受学习它的过程。这对我来说很有意义，也感觉非常自然。

我的一个缺点是，我不太擅长承受痛苦。有些人非常擅长这一点。当我感到兴奋、专注并热爱某件事时，我的峰值生产力时刻就会到来。如果你选对了课程，这就是你在大学里能获得的体验。

Dwarkesh： 这就像 布鲁斯·班纳 (Bruce Banner) 的名言 出自 《复仇者联盟》 (The Avengers)：“我一直都很愤怒。”我一直都充满兴奋与好奇。这就是为什么我总是处于峰值生产力状态。

顺便说一下，你上大学的时候，我也在读大学。尽管你比我小一岁，但你至少比我早了两届左右。我们就是在这个时候通过泰勒·考恩的社交圈认识的。这个世界小得令人难以置信。当时是我主动联系你的吗？一定是的。

Leopold： 我不确定。

Dwarkesh： 那时我的几个视频才几百的播放量。

Leopold： 世界真小。这也是人工智能领域疯狂的一面。在聚会上遇到的，总是那些在 DeepMind、OpenAI 和 Anthropic 运行模型的少数几个人。我们的一些朋友现在事业有成，他们在不到二十岁或二十出头时，就结识了许多现在在硅谷取得成功的人。

为什么世界这么小？其中存在一定的主观能动性。我觉得很有趣的是，这也是我从德国的经历中获得的感悟。那段经历令人窒息。我不喜欢那里。跳级并搬到美国是非同寻常的举动。

仅仅是去尝试，然后看到它奏效，这坚定了一种信念，即你不必迎合奥弗顿之窗 (Overton window)。你可以去尝试做你认为正确的事情，即使大多数人都错了。那是一段宝贵且对我产生了深远影响的早期经历。

Dwarkesh： 大学毕业后，你做了什么？

Leopold： 我在牛津大学 (Oxford) 等地做了一段时间的经济学研究，然后去了 未来基金 (Future Fund) 工作。

Dwarkesh： 跟我讲讲那段经历。

Leopold： 未来基金是由 萨姆·班克曼-弗里德 (Sam Bankman-Fried) 资助的基金会，但我们是独立运作的。我们的总部位于湾区。当时，在2022年初，那是一个令人难以置信的激动人心的机会。那是一家初创基金会，这样的机会并不多见。我们认为自己能够捐赠数十亿美元，并基于第一性原理重塑慈善事业的运作方式。

我们认为自己能产生重大影响，专注于生物安全、人工智能等事业，并寻找卓越人才来解决难题。我们所做的许多工作都令人兴奋。那些平时流程要走上六个月的学者会给我们发邮件说：“这太棒了。流程非常快速直接。”我经常发现，只要给予一点鼓励与授权，消除借口并简化流程，你就能让人们成就伟业。

Dwarkesh： 补充一下背景信息，你们不仅计划部署数十亿美元，而且这还是一个只有四个人的团队。因此，你18岁时，就在一个负责部署数十亿美元的四人团队里。

Leopold： 那算是我们的鼎盛时期。随后在2022年11月，萨姆被揭露是一个彻头彻尾的骗子，就在一夜之间，一切都崩塌了。那非常艰难。对于把钱放在 FTX 的人来说，这是毁灭性的打击。就我们自身而言，我们原本想帮助所有受资助者完成出色的项目，但他们最终却突然背负了一个巨大的问题。

就我个人而言，这非常困难，因为这是一家初创公司。我将近一年的时间里每周工作70个小时，就是为了把它建立起来。我们是一个小团队，然后就在一夜之间，一切化为乌有，还卷入了一场巨大的骗局。那真的令人极其难受。

Dwarkesh： 关于萨姆·班克曼-弗里德 (SBF)，早期有什么迹象吗？

Leopold： 显然，我当时并不知道他是个骗子。如果我早知道，我绝不会去那里工作。我们是一个独立的实体，不参与商业运营。但我确实从中吸取了一些教训。

我以及大众都有这样一种倾向，即因为那些成功的CEO取得了成功，就对他们的行为宽容以待。你会觉得那不过是成功 CEO 的作风。我并不知道萨姆·班克曼-弗里德是个骗子。

我知道他极度喜欢冒险、自恋，而且很难容忍不同的意见。到最后，我们相处得并不融洽，因为我指出一些生物安全补助金并不具备成本效益，但他喜欢这些项目，只是因为它们看起来很酷、很浮夸。他对此感到很不高兴。

所以我了解他的性格。我意识到，真正关注人们的性格是非常有价值的，这包括你的老板和成功的CEO。这能在未来让你免受许多痛苦。

Dwarkesh： 在 FTX 崩盘、你离开之后，你去了 OpenAI。当时超级对齐团队才刚刚成立。你是创始团队的一员。

最初的想法是什么？是什么促使你加入的？

Leopold： OpenAI 以及其他实验室的对齐团队已经开展了基础研究，并开发了基于人类反馈的强化学习 (RLHF)。这最终成为控制现有AI模型的一项非常成功的技术。

我们的任务是找到 RLHF 的继任者。我们需要它的原因是，RLHF 可能无法扩展到超人类系统。RLHF 依赖于人类评估者提供反馈，但超级智能模型将产生超出人类理解范围的复杂输出。那就像是一百万行复杂的代码，你根本无从得知其中到底发生了什么。

你该如何引导并控制这些系统？如何施加附加约束？我加入是因为我认为这是一个重要且可解决的问题。我现在依然这么认为，甚至更加确信。我认为在对齐超人类系统方面，有许多大有可为的机器学习研究，我们稍后可以进一步探讨。

Dwarkesh： 它是如此容易解决，你们用了一年时间就搞定了。现在一切都结束了。

Leopold： OpenAI 希望在对齐方面开展一项真正雄心勃勃的计划。伊利亚在支持这个项目。我喜欢那里的很多人。我感到非常兴奋。总有人在对齐问题上大做文章。我很感激人们强调这个问题的重要性，而我只是非常热衷于尝试解决它。我想参与这项宏伟的努力，就像一场解决对齐问题的“神速行动” (Operation Warp Speed)。这似乎是一个绝佳的机会。

OpenAI 内部发生了什么

Dwarkesh： 现在这个团队已经不复存在了。团队的负责人，简·莱克 (Jan Leike) 和伊利亚·苏茨克维 (Ilya Sutskever)，都已离职。这是上周的新闻。到底发生了什么？为什么这个团队会解散？

Leopold： OpenAI 决定改变发展方向。

Dwarkesh： 这意味着什么？超级对齐 (superalignment) 不是最佳的框架？

Leopold： 不是的，显然在十一月董事会事件之后发生了一些人事变动。伊利亚的离职对 OpenAI 来说是一件极其令人遗憾的事情。公司进行了一些优先级调整。媒体报道过关于超级对齐计算资源的承诺，即 20% 计算资源承诺，这是当时招募许多人的关键条件。后来公司决定不再遵守这一承诺，并选择向不同方向发展。

Dwarkesh： 现在简和伊利亚已经离开，团队本身也已解散。你是第一个离开或被迫离开的人。The Information 报道称 你因泄密而被解雇。发生了什么？这个说法准确吗？

Leopold： 我来告诉你他们声称我泄露了什么，然后你来谈谈你的看法。OpenAI 向员工声称我因泄密而被解雇。我和其他人曾敦促他们说明到底泄露了什么。这是他们的完整回应：去年某个时候，我写了一份头脑风暴文档，讨论在通向通用人工智能 (AGI) 的道路上，未来需要哪些准备、安全和安保措施。我将该文档分享给了三位外部研究人员以获取反馈。这就是所谓的泄密。

作为背景说明，当时在 OpenAI 将安全想法分享给外部研究人员以获取反馈是完全正常的做法。这种事情经常发生。该文档包含了我个人的想法。在分享之前，我检查了其中是否包含任何敏感信息。内部版本提到了一个未来的计算集群，我在对外版本中将其隐去了。其中包含一个指向内部幻灯片的链接，但对外部人员来说这是一个死链。幻灯片并未分享给他们。

当我追问他们指出该文档中包含哪些机密信息时，他们回复说，其中有一句话提到按 2027 至 2028 年实现 AGI 来规划，而没有为准备工作设定时间表。

我在 超级对齐公告 发布几个月后写了这份文档。我们当时提出了一个四年的规划周期。我认为这个规划周期并不敏感。这正是山姆·奥特曼 (Sam Altman) 经常在公开场合谈论的内容。我想简几周前在一个播客上也提到过这一点。这就是事情的全部。

Dwarkesh： 就这些？如果解雇原因是泄密，这听起来相当牵强。还有其他原因吗？

Leopold： 以上就是他们关于泄密的指控。我来详细解释一下解雇过程中发生的事情。去年，我写了一份关于 OpenAI 安全问题的内部备忘录，我认为公司的安全措施严重不足以防范外国势力窃取模型权重或关键算法机密。我将这份备忘录分享给了几位同事和几位领导层成员，他们大多表示这很有帮助。

几周后，发生了一起重大安全事件¹。这促使我将备忘录分享给了几位董事会成员。几天后，我清楚地意识到领导层对我将备忘录分享给董事会的行为非常不满。显然，董事会就安全问题向领导层施加了压力。

由于向董事会分享备忘录，我收到了人力资源部 (HR) 的正式警告。HR 告诉我，担忧中共间谍活动是种族主义的表现，并且这种做法毫无建设性。我当时的表达方式可能不够圆滑，本可以更具政治敏感度。但我认为这是一个极其重要的问题。那起安全事件让我感到非常担忧。

我之所以提到这一点，是因为在我被解雇时，他们明确表示安全备忘录是我被解雇的一个主要原因。他们说，“这次是解雇而不是警告，原因就在于那份安全备忘录。”

Dwarkesh： 因为你把它分享给了董事会？

Leopold： 因为我之前因安全备忘录收到了警告。

解雇时他们问我的问题可能也是有用的背景信息。一个多月前，我被叫去与一位律师谈话，谈话很快变得充满敌意。他们询问了我对人工智能进展的看法，对 AGI 的看法，AGI 的适当安全级别，政府是否应该介入 AGI，我以及超级对齐团队是否忠于公司，以及我在 OpenAI 董事会事件期间在做什么。随后他们与我的几位同事谈了话，回来后通知我：我被解雇了。他们审查了我在 OpenAI 期间所有的数字痕迹，正是在那时发现了所谓的泄密。

他们的主要指控就是这个泄密指控。这就是他们告诉员工的说法。安全备忘录是另一回事。他们还提出了其他几项指控。其中之一是他们声称我在调查期间不够坦诚，因为我一开始不记得将准备工作头脑风暴文档分享给了谁，只记得我与一些外部研究人员讨论过这些想法。

该文档已经超过六个月了，我当时只花了一天时间编写。那是一个通过我的 OpenAI 邮箱分享的 Google 文档。它不是截图，也不是我试图隐藏的任何东西。我记不住它也很正常，因为这事太无关紧要了。他们还声称我以他们不喜欢的方式参与了政策讨论。他们指出我曾与几位外部研究人员交谈过，包括智库的一位人士，讨论了我认为 AGI 将成为一个政府项目的观点，正如我们刚才讨论的那样。

事实上，当时我正在与该领域的许多人讨论这个观点。我认为这是一个非常值得思考的重要问题。因此，他们发现了我五六个月前写给一位友好同事的私信，并以此作为证据。我当时认为，与该领域的外部人士讨论关于 AGI 未来的高层次问题，是完全符合 OpenAI 规范的。

这就是他们声称发生的事情。从那以后，我与几十位前同事谈论过此事。大家一致的反应都是，“这太荒谬了。” 我自己也感到惊讶。仅仅几个月前我才获得晋升。伊利亚当时在我的晋升评审中写的评语大致是，“Leopold 非常出色。我们很幸运能拥有他。”

我能理解的一点是，从某种意义上说这也是合理的，那就是我得罪了一些人，并且在安全问题上有时可能惹人烦。我多次提出这个问题，或许表达方式并不总是最圆滑的。在董事会事件期间，尽管面临压力，我没有签署那封 员工联名信。

Dwarkesh： 你是大约八个没有签名的人之一？

Leopold： 没有那么多人。我认为没有签名的两位最高级人员是 安德烈·卡帕西 (Andrej Karpathy) 和简，他们后来都离职了。

关于那封信，在周一早上它开始流传时，我认为董事会辞职可能是合适的，因为他们在员工中已经失去了太多的信誉和信任。

但我认为这封信存在问题。它没有呼吁建立一个独立的董事会，而这是公司治理的基本要求。在其他讨论中，我敦促领导层让 OpenAI 遵守其公开承诺。我提出了一些尖锐的问题，质疑与专制独裁国家合作建设 AGI 的核心基础设施是否符合 OpenAI 的使命和国家利益。

这是一个自由的国家。这就是我热爱它的原因。我们讨论过这些问题。他们没有义务将我留在员工队伍中。如果他们来找我说，“我们将带领公司走向不同的方向。我们不同意你的观点。我们不再相信你会与公司保持一致。非常感谢你在 OpenAI 的工作，但现在是分道扬镳的时候了”，这会是非常合理的。

这完全说得通。我们在一些重要问题上已经开始产生分歧。我刚加入时非常兴奋，并且与 OpenAI 的理念高度一致，但随着时间的推移，情况发生了变化。那本可以是一种非常友好的和平分手方式。事情最终以这种方式收场，真是令人遗憾。

话虽如此，我真的想强调，OpenAI 有很多非常出色的人才，能与他们共事是一种极大的荣幸。总的来说，我非常感激在那里度过的时光。

Dwarkesh： 现在有报道称，前员工必须签署一份 保密协议 (NDA) 才能获得其既得期权。你签署了这样的保密协议吗？

Leopold： 没有。我的情况略有不同，因为我的期权正好还没到归属悬崖期（cliff）。他们仍然向我提供了期权，但我不想签字。自由是无价的。

Dwarkesh： 期权价值多少？

Leopold： 将近一百万美元。

Dwarkesh： 这绝对是你和其他人都意识到的事情。OpenAI 明确为你提供了一个选择。想必 OpenAI 的工作人员知道，他们提供期权的同时，还要求签署一份保密协议——禁止发表关于 AGI 和 OpenAI 的言论，就像你今天在这个播客上说的这些。

Leopold： 我并不了解全部情况。我确实认为将既得期权作为签署保密协议的条件是相当严苛的。如果那是离职补偿协议，情况可能有所不同。

Dwarkesh： 对，但是一个签署了该协议的 OpenAI 员工大概是无法参加你今天这样的播客访谈的。

Leopold： 很可能不行。我不清楚。

Dwarkesh： 董事会的事情确实很棘手。分析这里的情况，如果你想为他们辩护，你可能会说，“听着，你只是越过了正常的指挥链。” 这种说法或许有一定道理。

尽管 HR 认为你应该与董事会保持敌对关系的这种想法很奇怪。你正在向董事会提供有关 OpenAI 是否履行其使命以及如何改进的相关信息。这似乎很重要，因为董事会的职责就是确保 OpenAI 遵循其使命。他们把这视为泄密的一部分，就好像董事会是一个外部实体一样……

Leopold： 澄清一下，泄密指控仅仅是关于我为了获取反馈而分享的那份文档。而安全备忘录是他们引用的另一个独立问题。他们说如果不是因为安全备忘录，我不会被解雇。

Dwarkesh： 他们说你不会因为那件事被解雇。

Leopold： 他们说，这次是解雇而不是警告，原因是我之前就因安全备忘录收到过警告。

Dwarkesh： 在你离开之前，发生了董事会事件。山姆被 解雇 然后又被 重新聘为 首席执行官 (CEO)，现在他加入了董事会。伊利亚和简，作为超级对齐团队的负责人，已经离职。伊利亚是 OpenAI 的联合创始人，从研究的角度来看也是 OpenAI 最重要的人员。过去几个月里，关于超级对齐以及整个 OpenAI 都有许多人事风波。到底是怎么回事？

Leopold： 确实有很多风波。为什么会有这么多风波呢？

如果 OpenAI 仅仅声称是在开发 ChatGPT 或商业软件，风波就会少得多。许多风波源于 OpenAI 坚信他们正在构建 AGI。这不仅仅是一种营销说辞。有报道称山姆正在筹集 7 万亿美元用于芯片。只有在你真正相信 AGI 的情况下，这才说得通。

让人难以接受的是，相信 AGI 却不严肃对待其带来的一些其他影响，这种认知失调令人困扰。这项技术将拥有极其强大的力量，无论是用于善还是用于恶。这涉及国家安全问题。你是否在保护机密免受中共的窃取？是美国控制着核心的 AGI 基础设施，还是一个中东独裁者控制着它？

真正让人不满的是这种倾向：做出承诺并声称他们认真对待这些问题，但随后却常常不履行。例如，如前所述，关于超级对齐计算资源的承诺，即拿出 20% 的计算资源用于长期安全研究。

你我完全可以就超级对齐的适当计算资源水平进行合理的辩论。这并不是真正的问题所在。问题在于这项承诺已被做出，并被用于招募人才。而且这是非常公开的。

之所以做出这项承诺，是因为当时认识到，总会有比长期安全研究更紧迫的事情，比如开发新产品。最终，他们就是没有遵守承诺。总有比长期安全研究更紧迫的事情出现。

另一个例子是我提出安全问题时。他们会告诉我安全是我们的首要任务。然而，每当需要投入大量资源或进行权衡以采取基本措施时，安全问题却总是未能获得优先考虑。这种认知失调和不可靠性导致了许多风波。

加速AI研究进展

Dwarkesh： 让我们把视角放宽，谈谈整个故事中很重要的一部分。我们必须在人工智能和地缘政治方面继续推进的一大动力在于，一旦拥有AGI（通用人工智能），你很快就会迈向ASI（超级智能）。这些AGI作为研究人员推动AI进一步发展，在几年甚至更短的时间内，你就能实现超级智能。按照你的说法，从那以后，你要进行各种研发，比如机器人技术、袖珍核弹等疯狂的项目。

出于许多原因，我对这个故事持怀疑态度。从宏观上看，我不清楚研究中这种投入产出模型是否符合实际情况。我们可以纵观整体经济。帕特里克·科里森 (Patrick Collison) 等人指出，与100年前相比，全球研究人员数量增加了100倍。然而，科技进步的速度并没有提高100倍。显然，并不是简单地投入更多研究人员就能获得更高的研究产出。我不明白为什么AI研究人员的情况会有所不同。

Leopold： 这就聊到精彩的地方了。这是我和帕特里克等人之间经典的分歧。显然，投入很重要。美国在科学技术进步方面的产出远高于列支敦士登或瑞士。

假设你让帕特里克·科里森成为列支敦士登或瑞士的独裁者，并让他实现理想的制度乌托邦。保持人才库不变。他无法推行疯狂的高技能移民政策或基因繁殖计划。你在保持人才库不变的情况下拥有惊人的制度。即便如此，即便帕特里克·科里森是独裁者，瑞士在科学技术进步方面仍然无法与美国竞争。规模很重要。

Dwarkesh： 我不确定是否同意这一点。历史上有很多例子表明，一小群人（如 贝尔实验室 或臭鼬工厂）取得了重大进展。OpenAI只有几百名研究人员。

Leopold： 但他们是经过严格筛选的。

Dwarkesh： 这就是为什么帕特里克·科里森作为独裁者能把这件事做好的原因。

Leopold： 是的，如果他能精挑细选出全球最顶尖的AI研究人员，他可能只需要几百人。但那就等于已经占了整个人才库：你手里就是全球最顶尖的300名AI研究人员。

Dwarkesh： 但从100年前到现在，人口大量增加。考虑到营养不良和贫困等影响过去人才的因素不再像以前那样具有同样的破坏力，你会预期人才密度有所增加。

Leopold： 我不知道是否增加了100倍。可能至少有10倍。有些人认为发现新想法的难度并没有增加太多，那么我们为什么需要增加10倍的研究投入呢？对我来说，这是一个非常自然的故事。为什么它很自然？在双对数图上，它是一条直线。这是深度学习研究人员的梦想。

这个双对数图是什么？X轴是对数累计研究投入。Y轴是对数GDP、算法进步的数量级 (OOM)、每平方英寸对数晶体管数量、每千兆瓦太阳能的对数价格。它自然而然地呈现为一条直线。这是经典现象。起初，事情很容易，但你需要以对数级增加累计研究投入才能发现下一个重大突破。这是一个自然的故事。

人们提出的一个反对意见是：“我们把研究投入增加了10倍，而发现新想法的难度也增加了10倍，完美地达到了平衡，这难道不可疑吗？”我认为这就是均衡，一种内生均衡。供给等于需求、市场出清，这难道是巧合吗？这里也是如此。发现新想法的难度取决于已经取得了多少进展。

整体增长率是新想法发现难度增加的幅度与研究投入增加的幅度之间比率的函数。这个故事相当自然，你不仅在整个经济层面看到它，也在各种技术的经验曲线中看到它。

制度在一定程度上变糟了，这是可能的。显然，增加人员存在某种收益递减的指数效应。串行时间优于单纯的并行化。尽管如此，投入显然很重要。

Dwarkesh： 我同意，但如果随着投入增加，衰减系数足够高，那么从抽象角度来看，投入重要这一事实就不那么相关了。

我们是在非常宏观的层面上讨论，让我们具体一点。OpenAI目前最多只有几百名直接参与未来模型算法研发的员工。假设你真的可以任意扩大这个数字，以实现更快的算法进步和更好的AI。我不明白为什么OpenAI不直接聘请世界上所有智商达150的人，世界上有几十万这样的人。

我的观点是，管理所有这些人存在交易成本。即使你拥有一群AI，这些成本也不会凭空消失。这些任务不容易并行化。我不太明白你如何解释OpenAI不疯狂招募世界上所有天才的事实？

Leopold： 我们来谈谈OpenAI的例子和自动化的AI研究人员。看看过去一年 AI研究人员薪酬 的通胀情况。薪资涨了4到5倍。他们显然在努力招募全球最顶尖的AI研究人员，而且他们确实找到了。我的回应是，如果你明天雇佣这些智商达150的人，他们几乎都不会立刻成为优秀的AI研究人员。他们不会成为亚历克·拉德福德 (Alec Radford)。

Dwarkesh： 他们愿意进行需要数年才能见效的投资。他们现在购买的数据中心将在2026年上线。有些项目不会成功，有些不会具备我们喜欢的特性。但为什么他们不进行投资，在2026年之前将这些智商150的人培养成出色的AI研究人员呢？

Leopold： 有时确实会发生这种情况。聪明的物理学家在AI研究方面表现出色，比如Anthropic的所有联合创始人。

Dwarkesh： 但例如，达里奥 (Dario Amodei) 在 播客 中说过，他们采取了非常谨慎的政策，极度挑剔，不随意招人。

Leopold： 培训并不容易规模化。培训非常困难。如果你雇佣了100,000人，要培训他们所有人都很难。你将无法进行任何AI研究。引入新人并培训他们需要巨大的成本。

AI的情况大不相同。讨论AI将具备的优势很重要。成为亚历克·拉德福德需要什么？你需要成为一名非常优秀的工程师。AI将是令人惊叹的工程师和程序员。你可以训练它们去做这些。它们还需要具备良好的研究直觉和对深度学习的深刻理解。

亚历克·拉德福德或像他一样的人，是通过多年深耕深度学习领域，亲自尝试许多事情并经历失败才获得这种能力的。AI将能够阅读有史以来的每篇研究论文，从实验室运行的每一次实验中学习，并从中获取直觉。它们能够通过相互的实验和经验并行学习。

还存在文化适应方面的问题。如果你雇佣新人，会存在办公室政治，也许他们不能很好地融入。对于AI，你只需复制它们。动机方面也有区别。如果我能复制亚历克·拉德福德，并在运行每个实验之前，让他花十年的时间仔细检查代码并认真思考，他不会在乎，也不会有动力。但对于AI，你可以让一亿个AI专注于确保代码正确无误。

一亿个等同于人类的AI研究人员的想法只是一种具象化的方式。你可能没有真正的一亿个副本。你可以在串行速度和并行之间进行权衡。你可能会以10倍或100倍的串行速度运行它们，由于固有的权衡，总体生成的Token更少。你可能有100,000个以100倍人类速度运行的AI。它们可以通过共享潜空间并关注彼此的上下文来进行协调。你能做的事情有巨大的可能性。

另一个例子是，到2027年或2028年，借助自动化的AI研究人员，你每天将能够生成相当于整个互联网数据的Token。这显然是你可以完成的巨量脑力劳动。

Dwarkesh： 打个比方。今天，我们一年产生的专利比20世纪初物理学革命期间还要多。我们今天一年的物理学进展是否比当年半个世纪的进展还要大？生成所有这些Token并不一定等同于互联网建立初期生成那么多的系统化知识。

Leopold： 互联网Token通常是最终输出。我们谈过消除限制。我把GPN Token看作是我内心独白的一个Token。这就是我计算人类等效产出的方式。就像每分钟100个Token，然后人类工作X小时。那里的等效值是多少？

Dwarkesh： 这又回到了之前的话题。为什么我们还没有看到AI带来巨额收入？人们经常问这个问题。如果你把GPT-4带回到十年前，人们会认为它将自动化一半的工作。这里存在 肯定前件式 (modus ponens) 和 否定后件式 (modus tollens)。部分解释是我们正处于边缘，我们只需要消除这些限制。其中一部分可能是真的。但那里还有另一个教训需要吸取。仅仅从表面上看待一组能力，幕后很可能存在更多的限制。作为AI研究人员运行的AGI也是如此。

Leopold： 我基本同意你说的很多观点。我的看法是，这将会有一个长尾效应。也许到2026年或2027年，你将拥有非常擅长工程的自动化工程师雏形。它还没有研究直觉。你还不太清楚如何让它们投入工作。

即便如此，AI进步的潜在速度已经非常快了。仅仅三年时间，我们已经从AI完全不懂数学，发展到现在在这些数学竞赛中碾压对手。因此，你可能在2026年或2027年拥有最初的自动化研究工程师，这会使你的速度提高2倍。在这一年里，你将取得更多进展。到今年年底，你已经弄清楚了剩余的限制，并且拥有了一个更聪明的模型。

也许是两年，但随后该模型可能会使100%的研究自动化。它们不需要做所有事情。它们不需要泡咖啡或处理其他领域的隐性知识。AI实验室的AI研究人员非常清楚AI研究人员的工作。有很多明确的指标。这一切都是虚拟的。有代码。你可以开发并针对这些进行训练。

Dwarkesh： 另一件事是你如何实际管理一百万名AI研究人员？人类的比较优势，也是我们受过专门训练的地方，在于团队合作。数千年来，我们一直在学习如何在群体中合作。尽管如此，管理工作仍然一团糟。大多数公司的管理都很糟糕。做这些事情真的很难。

对于AI，我们谈论AGI，但它将是一些特定的能力组合，其中一些将高于人类水平，有些在人类水平。它将是一个组合，你需要弄清楚如何将这些组合与人类监督员和设备结合起来。对于“只要获得了这种组合，你就可以将数百万个它们放在一起并进行管理”的想法，我非常怀疑。

历史上任何一次技术革命都比纸面上预期的要零散得多。什么是工业革命？我们挖煤为蒸汽机提供动力，用蒸汽机运行铁路，这有助于我们获得更多的煤。你可以讲一个类似 异星工厂 (Factorio) 的故事，在六个小时内你可以产出数千倍的煤。在现实生活中，这需要几个世纪的时间。

例如，在电气化方面，有一项 著名的研究 表明，在电力出现几十年后，人们才从基于滑轮和水车的蒸汽机系统转向使用更分散的电机的系统。这也将是同样的情况。可能需要几十年才能真正让数百万AI研究人员有效地协同工作。

Leopold： 很好。对此有几点回应。我完全同意现实世界瓶颈的观点。这些限制很容易被低估。本质上，我们在自动化劳动力并利用技术，但世界上仍然存在许多其他瓶颈。

这就是为什么故事从没有这些瓶颈的狭窄领域开始，然后随着时间的推移扩展到更广泛的领域。这也是为什么我认为最初是AI研究的爆炸式增长。AI研究不会遇到这些现实世界的瓶颈。它不需要犁地或挖煤。它只是做AI研究。

Dwarkesh： 我喜欢在你的模型中，AI研究并不复杂。就像煎汉堡一样。只是AI研究而已。

Leopold： 人们会提出这样的论点：“AGI不会做任何事情，因为它不会煎汉堡。”是的，它不会煎汉堡，但它将能够推动算法进步。一旦它实现了这一点，它就能想出如何制造一个会煎汉堡的机器人。我们讨论的数量只是下限。我们绝对可以运行一亿个这样的系统。

我们将弄清楚的首要问题之一是如何将数量转化为质量。即使在基本的发展速度下，你也会很快获得越来越聪明的系统。从学龄前儿童到高中生需要四年时间。很快，如果你拥有一百个亚历克·拉德福德而不是一个，你可能会发现一些简单的算法变化。你甚至不需要一亿个。我们很快就会拥有更聪明、能够进行我们无法理解的创造性复杂行为的系统。

也许有某种方法能以一种比所有这些并行副本更统一的方式来利用所有这些测试时间计算。它们不仅在数量上超越人类。它们很快将在质量上超越人类。这就像一个试图理解标准物理学的高中生，与一位精通量子物理学的超级聪明的教授之间的对比。考虑到AI进步的潜在速度，你会很快进入这种状态，在自动化AI研究的加速推动下，速度会更快。

Dwarkesh： 我同意随着时间的推移你会达到那个目标。我并不否认ASI是可能的。我只是质疑这一切如何能在一年内发生。

Leopold： 故事更具连续性。到2025年或2026年，你将已经拥有和大学毕业生一样优秀的模型。我不知道所有消除限制的突破会在哪里发生，但可能你会拥有一个自动化工程师雏形。

说还存在未消除的限制，这多少有点像在模糊 AGI 的边界。有一些连接它们的方法缺失了。缺失了某种程度的智能。在某个节点，你将获得一个100%自动化的亚历克·拉德福德，一旦你拥有它，事情就会真正起飞。

Dwarkesh： 让我们回到消除限制的话题。

到今年年底我们将获得大量模型。假设到今年年底我们没有获得某些能力。是否有某种能力的缺失表明，AI进步将比你预测的需要更长的时间？

Leopold： 有两个关键点：消除限制和数据墙。我们先谈谈数据墙。尽管我们看到了疯狂的AI进步，但数据墙实际上被低估了。存在一种真实的停滞可能，因为我们一直借着轻松利用无监督学习自举的顺风车。

它学习了这些惊人的世界模型。你购买更多算力，进行简单的效率提升，就能获得巨大收益。所有重大的效率提升都是相当简单的事情。你添加一个 归一化层。你修正 缩放定律 (scaling laws)。这些已经是巨大的进步，更不用说这些模型在某些明显方面还不够好。

数据墙是一个大问题。例如，线上的 Common Crawl 大约有30万亿个Token。Llama-3 使用了15万亿个Token进行训练。我们已经使用了所有数据。你可以通过重复数据走得更远，但 博阿兹·巴拉克 (Boaz Barak) 撰写的关于数据缩放定律的学术论文 表明，经过大约16次重复后，收益基本上归零。

Llama-3已经达到了数据的极限。也许我们可以通过重复数据获得10倍的提升。这最多是GPT-4模型的100倍，即GPT-4有效算力的100倍。这并不算多。如果你每年增加半个数量级的算力和半个数量级的算法进步，那距离GPT-4大约有两年的时间。GPT-4在2022年完成了预训练，所以现在是2024年。我们可能到年底还不太确定，但到2025年和2026年，我们将会感觉到我们是否正在突破数据墙。

Dwarkesh： 假设Common Crawl中互联网上的数据比我们现在的少三个数量级。几十年来，随着互联网和其他事物的发展，人类拥有的数据存量一直在迅速增加。你是否认为，出于偶然原因，我们恰好有足够的数据来训练出刚好足够强大的模型（如GPT-4.5）来启动自我对弈强化学习循环？

还是说如果数据多出三个数量级，那么进展会略快一些？在那种假设下，我们回顾过去，会觉得仅仅依靠GPT-4.5来启动强化学习爆炸是很困难的。我们最终还是会想出办法的。

在这个世界中，我们会达到GPT-3，然后必须启动某种强化学习爆炸。我们仍然会弄清楚的。我们是否只是碰巧在世界上拥有的数据量上走运了？

Leopold： 少三个数量级的数据非常艰难。按照 Chinchilla 缩放定律，这意味着模型的算力要少六个数量级。这基本上会止步于勉强比GPT-2好一点的水平。那将非常艰难。

你提出了一个关于偶然性的有趣观点。如果我们考虑人类轨迹的类比，学龄前模型无法从自身学习。小学生模型无法从自身学习。也许GPT-4就像一个聪明的高中生，可以开始从自身学习。理想情况下，你需要一个更好一点的模型，能够真正自学。少一个数量级的数据会让我更没有把握，但可能仍然可行。如果我们多出一两个数量级的数据，会感觉更轻松。

Dwarkesh： 根据数据数量级得出AGI的概率分布将是一项有趣的练习。

Leopold： 是的，我同意。

Dwarkesh： 让我对这个故事持怀疑态度的是，预训练效果如此之好完全说得通。对于这些其他事情，有原则上的故事可以解释为什么它们应该奏效。人类可以这样学习等等。也许它们是真的。

我担心很大一部分论证建立在对学习如何发生的第一性原理评估上。也许从根本上说，我们并不了解人类是如何学习的。也许我们遗漏了某些关键因素。在样本效率方面，你说这些东西在学习上的样本效率远低于人类，这表明还有很大的改进空间。另一种观点是，我们完全走错了路。这就是为什么它们在预训练方面样本效率如此低的原因。

你有很多第一性原理的论点层层叠加：你消除了这些限制，然后你达到了AGI。然后，由于你可以把所有这些东西叠加在一起的这些原因，你达到了ASI。我担心这种第一性原理的思考步骤太多了。

Leopold： 我们拭目以待。关于样本效率，这算是第一性原理，但也存在明显的中间缺失环节。以前人们没有尝试过。现在人们在努力尝试。再说一次，在深度学习中，通常显而易见的方法会奏效，而且有很多细节需要做好。这可能需要一些时间，但现在人们真的在努力。在未来几年里，我们将在消除限制方面获得大量信号。

关于消除限制，哪些信号会很有趣？问题基本上是，你是否在测试时间计算上取得了进展？这个系统是否能够思考比几百个Token更长远的跨度？这是由思维链 (chain-of-thought) 解锁的。

Dwarkesh： 特别是关于这一点，许多持有较长时间线观点的人在播客中指出，训练这种长视距强化学习的方法，不是……

之前我们讨论过它们如何能够思考五分钟，但不能更长。这并不是因为它们在物理上无法输出一个小时的Token。

Leopold： 即使Gemini有一百万的上下文，而一百万的上下文对于输入消耗来说实际上非常棒。它解决了一个重要的限制，即入职问题。新同事入职的前五分钟，就像一个聪明的高中生实习生，根本起不到作用。

一个月后，他们会变得更加有用，因为他们查看了 单体仓库 (monorepo)，了解了代码是如何工作的，并且阅读了内部文档。能够将这些放入上下文中解决了入职问题。它们还不擅长生成一百万个Token。

Dwarkesh： 关于生成一百万个Token，没有公开证据表明存在某种简单的损失函数，使你可以……

Leopold： 自发布以来，GPT-4已经变得更好。自发布以来的GPT-4收益是一个巨大的指标。

你在播客上与约翰·舒尔曼 (John Schulman) 讨论过这个问题。约翰说这主要来自后训练 (post-training) 的收益。如果你看看 LMSys 的得分，大概是100个Elo积分。这比 Claude 3 Opus 和 Claude 3 Haiku 之间的差距还要大。这两者之间的价格差异是60倍。

Dwarkesh： 但它并没有变得更具智能体属性，只是在同一个聊天对话里表现更好了。

Leopold： 它在数学方面好了很多。从40%提高到了70%。这清楚地表明在消除限制方面还有很多工作要做。有趣的问题是，从现在起的一年后，是否存在一个模型能够连贯、一致、统一地思考几千个Token？同样，如果我们有1到2个数量级的更多数据，我可能会感觉更好，因为规模扩展为你提供了这种顺风车。

在工具使用方面，如果你去问问那些尝试让模型使用工具的人，GPT-4 才是工具真正开始发挥作用的时候。你可以用GPT-3.5勉强实现，但这确实很困难。有了GPT-4，你可以更容易地帮助它学习工具。因此，如果能从缩放中获得更多的推动力，那就太好了。我不知道这是否有效，但这是一个关键问题。

Dwarkesh： 这部分算是圆满结束了，我们知道了关键所在以及证据会是什么样子。

我们来谈谈从AGI到超级智能。也许现在的收益很容易，你可以放手去做。给亚历克·拉德福德一定的计算预算，他就会在另一端产出对代码的增量改动。

世界上还有多少领域是这样的，你认为可以在一年内获得相等的进步？你在多个实例中投入足够的智能，结果就产出了明显领先几十年、甚至几个世纪的成果？一开始还没有飞行，然后就有了 莱特兄弟 (Wright brothers)。你有了一百万个GPT-6的实例，最后你得到了 星链 (Starlink)？这是你对事物运作方式的模型吗？

Leopold： 你稍微夸大了时间线，但在一年左右的时间里取得十年的进展是一个合理的预期。这就是自动化AI研究人员发挥作用的地方。它为所有其他事情提供了巨大的推动力。

你用自动化的亚历克·拉德福德实现了AI研究的自动化。最终产出了成果。你又前进了五个数量级。你拥有了一个聪明得多的系统。不仅极其聪明，你还能让它在所有其他方面都表现出色。你正在解决机器人技术问题。

机器人很重要，因为对于许多其他事情，你确实需要在物理世界中尝试。也许你可以在模拟中做很多事情。那是非常快速的世界。我不知道你有没有看上一届的 Nvidia GTC，主要讲的是 数字孪生，在模拟中呈现你所有的制造过程。再说一次，如果你拥有这些超级智能的认知工作者，他们能否像 AlphaFold 那样，对一切进行模拟，并在那里取得巨大进展？

机器人反正是会有的。我同意存在很多现实世界的瓶颈。很可能我们会拥有疯狂的无人机蜂群，但由于法规限制，律师和医生仍然需要由人类担任。你从狭窄的领域开始，逐渐扩展，并在某些情况下释放它们。由于竞争压力，我们不得不一定程度上在各种国家安全应用中释放它们。快速进展是非常有可能的。

在随后的爆发中，基本上有两个组成部分。生产函数 (production function) 中的 A，即技术增长，已经大规模加速。现在你拥有了十亿名超级智能科学家、工程师和技术人员，他们精通一切。

你也使劳动力实现了自动化。即使没有整个技术爆发，你也会迎来这种工业爆炸，至少如果你释放它们的话，因为你可以让它们铺满整个内华达州，从一个生产更多机器人的机器人工厂开始。这是一个累积的过程，因为你已经将劳动力从等式中剔除了。

Dwarkesh： 这非常有趣。

尽管当你在不增加 A 的情况下增加 K 或 L 时，你可以看看苏联或中国等例子。他们迅速增加了投入，这确实产生了改变地缘政治格局的影响。看到像上海这样的城市在短短几十年内发生的转型，着实令人瞩目。

Leopold： 他们用大约十年时间建成了这些令人惊叹的城市。

Dwarkesh： 人们谈论AI带来的30%的增长率。最接近的——

Leopold： 看看 亚洲四小龙 10% 的增长率。这完全是可能的。

Dwarkesh： 但如果没有生产力的提高，它就不像工业革命。从系统外部的角度来看，你的商品变得便宜得多，你可以制造更多东西。但这并不是下个世纪正在迅速逼近的标志。

Leopold： 两者都很重要。我要说的另一件事是，对于所有这些，数量级真的非常非常重要。我们谈到了研究投入增加10倍，或者在十年内增加10到30倍。即使没有任何类型的自我改进循环——即使在从GPT-4到AGI的故事中——我们谈论的也是有效计算量每年增加一个数量级。

每年增加半个数量级的计算量，每年半个数量级的算法进步转化为有效计算。你基本上是在你的劳动力上每年实现10倍的增长。在一个世纪内劳动力增长10倍或30倍，与每年劳动力增长10倍，是完全不同的世界。规模非常重要。

在智能爆炸的场景下，这也很重要，仅仅是自动化AI研究部分。在那里你可以讲的一个故事是，发现新想法变得越来越难。算法进步将变得更加困难。现在还有很多轻松到手的成果，但四五年后，这样的机会就会变少。为了保持进展，自动化AI研究人员将变得必不可少，因为这变得更难了。这是一种非常奇特的走钢丝假设经济学。

Dwarkesh： 这不就是你刚才讲的、整体经济为什么能保持2%增长率的均衡故事吗？你只是在均衡状态下继续前进。我想你是说到了那个时候——

Leopold： 在这里，均衡的结果是速度要快得多。这取决于指数。假设你需要在过去四五年内将AI研究的有效研究投入增加10倍，才能保持进展速度。我们不仅仅获得10倍，你将获得1,000,000倍或100,000倍。规模确实非常重要。

考虑这个问题的一种方法是你有两个指数。你拥有以每年2%增长的正常经济，以及每年增长10倍的AI经济。它起步非常小。它要快得多，最终会超越。如果你认为你的AI经济有一定的增长率，你就可以进行简单的收入外推。这是一种非常简单的方式，但这是一个每年10倍的过程。

随着它的范围扩大，你将把整个经济从每年2%的增长切换到快得多的增长过程。这与历史故事非常一致。存在这种长期的双曲线趋势。它体现在工业革命中增长模式的转变，但这就是一种长期的双曲线趋势。现在你有了另一种增长模式的改变。

Dwarkesh： 那是我向泰勒 在我邀请他上播客时 提出的问题之一。1776年之后，你从一个经济增长微乎其微的状态转变为2%的状态，这个事实非常有趣。从中世纪或更早时代的人的角度来看，2%就相当于10%。我想你对AI经济的预测甚至更高。

Leopold： 视情况而定。再说一次，对于所有这些我有很多不确定性。很多时候我试图讲述典型的故事，因为具体和直观地表达它很重要。

我对2030年代如何发展有很多不确定性。我知道的是它将会变得极其疯狂。至于瓶颈到底在哪里等等……

Dwarkesh： 我们来详细算算数字。你提到过数亿名AI研究人员。目前，GPT-4o的大约是15美元 就能生成一百万个Token。人类每分钟思考150个Token左右。如果你计算一下，人类一小时的产出，大概是0.10美元。

Leopold： 它比人类工人便宜。它还不能胜任这项工作。

Dwarkesh： 没错。但是当你谈论在10吉瓦集群上训练的模型时，那时的模型在推理成本上要贵出四个数量级——好吧，大约三个数量级。那大概是每小时100美元的劳动力成本。现在你拥有数亿名这样的劳动力。是否有足够的计算能力用扩大了1000倍的模型来完成这种劳动？

Leopold： 好问题。我实际上并不认为前沿模型的推理成本一定会增加那么多。

Dwarkesh： 但测试时间计算这类东西，难道不会让成本进一步升高吗？

Leopold： 我们只看每个Token。假设每个模型Token在100 Token/分钟时与人类Token等价。模型会消耗更多 Token，但按 Token 计算已经把这个因素考虑进去了。问题在于每个Token的定价。GPT-3发布时的成本实际上比现在的GPT-4更高。在能力大幅提升的情况下，推理成本保持不变。这很疯狂，值得赞赏。它折射出底层算法进步的速度。

有一种更具理论依据的方法可以解释为什么推理成本会保持不变。在Chinchilla缩放定律中，分配给更大模型的额外计算量占一半，另一半分配给更多数据。如果我们采用每年增加0.5个数量级计算量和0.5个数量级算法进步的基本故事，你就能节省0.5个数量级/年。这恰好抵消了模型变大带来的成本上升。

需要注意的是，显然并非所有的训练效率提升都是推理效率提升。大部分情况下是的。另外，你也可以专门去寻找推理效率的提升。考虑到这一历史趋势，再加上理论上的基准理由，“前沿模型每个Token的价格不一定会变得更贵”并不是一个疯狂的基准假设。

Dwarkesh： 真的吗？好吧，这太疯狂了。

Leopold： 我们走着瞧。即使它们变得昂贵10倍，你也会有1000万而不是1亿。这并不是真的——

Dwarkesh： 但是智能爆炸的一部分是它们每一个都必须运行GPT-4规模的实验。结果，那将占用大量计算资源。然后你需要整合实验结果。合成权重是什么？

Leopold： 不管怎样，你的推理计算量本来就比训练大得多。但实验计算量是一个制约因素。

Dwarkesh： 让我们回到我们正在讨论的更基本的事情。在该系列文章中，你说我们应该用有效计算的数量级来衡量实现AGI的概率。这里的“有效”考虑到了这样一个事实：如果你有更好的算法，就能获得一个算力乘数。我不确定是否有理由相信这是一种预测进展的合理方式。也许是，但我对此有很多不确定性。

这就像有人试图预测我们什么时候能登上月球。他们看着1950年代的 阿波罗计划 或者类似的什么。他们说，“我们有一定量的有效航空燃料，如果有了更高效的发动机，我们就有了更多有效航空燃料。所以我们要根据手头有效航空燃料的数量来确定登月的概率。”我不否认航空燃料对发射火箭很重要，但用这种方式来预测登月时间似乎很奇怪。

Leopold： 我不懂火箭科学是怎么运作的，但我印象中航空燃料的数量并不存在什么明显的缩放行为。首先，AI的缩放定律经受住了考验。我的一位朋友指出了这一点，这是个很棒的观点。如果你看看 最初的卡普兰 (Kaplan) 缩放定律论文——它覆盖了10^-9到10 petaflop天——再把从那里到GPT-4新增的算力衔接起来，并假设存在一些算法进步，缩放定律可能在超过15个数量级上都经受住了考验。这是个粗略的计算，所以实际可能甚至更多。它们在很多个数量级上都成立。

Dwarkesh： 它们只是在训练所用的特定损失函数——即预测下一个Token——上成立。而你预测的进展中，我们明确知道这种缩放无法奏效，因为存在数据墙。必须有一些新的事情发生，我不确定你是否可以外推同一条缩放曲线，来告诉我们这些束缚是否也能被解除。这不在同一张图上吗？

Leopold： 束缚则是另一回事。

这里有几件事。在有效计算的缩放方面，人们围绕缩放定律来讲，因为它们容易解释。为什么扩展规模很重要？

缩放定律论文的出现，远远晚于达里奥和伊利亚 (Ilya Sutskever) 这样的人意识到缩放的重要性。达里奥在你的 播客 中有一句名言。模型就是想学习。你把它们做得更大，它们就会学得更多。这比损失曲线更重要。

这适用于各个领域。你可以在基准测试中看到这一点。再说一次，阻力来自数据墙。我先把这一点放在一边，另作讨论。

另一件事是解除束缚。如果把它们放到有效计算的图上，这些解除束缚带来的收益将是巨大的。

Dwarkesh： 这甚至意味着什么？这里的Y轴是什么？

Leopold： 比如说这个基准测试上的MLPR，随便哪个。我们提到了LMSys的差异、相当于100倍算力的RLHF、思维链。仅仅是这种提示方式的变化，一个简单的算法变化就可以让数学基准上的有效计算量增加10倍。这能很好地说明解除束缚的影响很大，但它们还是略有不同的两件事。

在单Token层面上，GPT-4距离我内心独白的一个Token并不遥远。即使是3.5到4的飞跃，也让我们在许多高中测试中从人类范围的底部提升到了人类范围的顶部。所需要的，只是单Token层面上的智能再发生几次3.5到4级别的飞跃。然后你必须解锁测试时间，解决入职问题，让它使用电脑，然后你就非常接近了。这个故事可能是错的，但它极具说服力。

我要说的另一件事是关于2027年时间线，我确实认为这不太可能发生，但我认为确实存在明年就实现AGI的可能性。这基本取决于测试时间计算的遗留问题是否很容易解决。如果很容易解决，那么你很快就会在测试时间计算上跨越四个数量级，从几百个Token飙升到几百万个Token。然后，也许只需要一两个相当于从GPT-3.5到4那样的单Token提升。一两个单Token的提升加上测试时间计算，你就基本拥有了自动化工程师的雏形。

Dwarkesh： 我想起了 斯蒂芬·平克 (Steven Pinker) 的书，人性中的善良天使。它谈到了暴力和战争的长期减少。你可以画出从二战结束开始的曲线。实际上从二战之前开始，然后这些都是反常现象。本质上，只要预言一出，你就会看到乌克兰、加沙等事件。

Leopold： 即将到来的ASI加剧了疯狂的全球冲突。ASI和疯狂的新型大规模杀伤性武器 (WMD)。

Dwarkesh： 这就是历史上发生的事情，你看到一条直线，但只要你做出那个预测……那位著名的作家是谁？

Leopold： 再说一遍，人们每年都预测深度学习会撞墙。也许某一年他们是对的。但它已经走了很长一段路，并没有撞墙。剩下的路已经不多了。

对齐

Dwarkesh： 这是一个合理的推演，让我们顺着这个思路看看它意味着什么。

在你的系列文章中，你谈论对齐的视角并非“这是末日论者的某种盘算，只为抓住概率分布中事情不脱离轨道的那0.01%”。它更多是关于控制这些系统，并确保它们按照我们的意图行事。

如果是这样的话，我们将与中国陷入这种地缘政治冲突。我们担心的是他们制造中共机器人，去把毛泽东的红旗插满整个星系。那么我们是否应该担心，对齐一旦落入坏人之手，就会成为实现洗脑和独裁控制的工具？

这似乎令人担忧。它应该成为我们要隐藏的算法机密的一部分——如何对齐这些模型的秘密，因为那也是中共可以用来控制其模型的东西。

Leopold： 在拥有民主联盟的世界里，是的。此外，对齐通常具有军民两用的特性。

对齐团队开发了RLHF，这非常出色。这是对齐领域的一大胜利，但它显然也使这些模型变得有用。因此，对齐技术赋能了中共机器人。为了让美国的AI遵守宪法、拒绝执行非法命令并尊重三权分立与制衡，你也同样需要对齐技术。无论你想做什么，都需要对齐。它只是底层技术。

Dwarkesh： 告诉我你对这个观点的看法。我对此一直有些纠结。

从根本上说，未来有许多不同的发展方向。其中一条路径是Eliezer Yudkowsky 所描绘的类型：带有纳米机器人的疯狂AI接管未来，把一切都变成灰蛊或回形针。

你越是解决对齐问题，决策树上的那条路径就越受限制。对齐问题解决得越好，未来就越取决于不同的人类及其愿景。当然，我们从历史中得知，事情的发展往往出乎意料。你无法决定未来。

Leopold： 这正是其美妙之处。你需要像纠错这样的机制——

Dwarkesh： 但从任何观察该系统的人的视角来看，他们会觉得“我可以控制这个东西的最终走向”。因此，你越是解决对齐问题——也就是越是限制由AI意志导致的不同未来——就越会加剧人类及其对未来愿景之间的冲突。一个解决了对齐问题的世界，正是人类在AI发展方向上爆发最多冲突的世界。

Leopold： 通过消除AI接管的世界，剩下的世界将由人类决定事态的发展。正如我们讨论过的，那将包含许多不同的世界和发展轨迹。

Dwarkesh： 你将对齐仅仅看作是控制这些事物。试着往长远想一点。在某些世界里，人类后代或者未来的某种人类形态，有望与超级智能融合。它们有自己的规则，但处于某种基于法律和市场的秩序中。我之所以担忧，是因为你将面对具有意识且应当被赋予权利的实体。我正在思考这些对齐方案到底是什么。

你读过那些关于文化大革命期间真实发生的事情，以及斯大林接管俄罗斯时发生的事情的书籍。你会看到非常严密的监控，每个人都被要求互相监视。你会看到洗脑。你还会看到像你谈到的间谍活动那样的红队测试：你假装自己是叛变者去说服某人，看看他们是否会和你一起叛变。如果他们这样做了，你就明白他们是敌人。

也许我的比喻有些牵强，但这些对齐技术如此轻易地就能与毛泽东的文化大革命中发生的事情对应起来，这确实有点令人不安。

Leopold： 有感知能力的AI完全是另一个话题。我不知道我们是否要讨论它。我同意我们对待它们的方式将会非常重要。就你实际编程让这些系统做什么而言，对齐只是一种技术解决方案。它赋能了中共机器人。

谈到制衡，这种模式有点像美联储或最高法院大法官。有意思的是，他们在某种程度上是一个极为尽心尽责的群体。这很不可思议。他们的素质实际上非常高。他们是极其聪明的人，真正信仰并热爱宪法。他们坚守自己的原则。

他们有不同的派别，但他们会对宪法的含义以及如何最好地落实这些原则进行非常真诚的辩论。顺便说一句，当我在互联网上找不到高质量内容时，我推荐将美国最高法院口头辩论作为最好的播客来听。

将会有一个弄清这部宪法应该是什么的过程。这部宪法已经行之有效很长时间了。你从这里开始。也许最终情况发生了足够大的变化，你需要对其进行修改。例如，在制衡方面，他们真的热爱宪法。他们信仰宪法并且非常认真地对待它。

在某个时候，你将会拥有AI警察和AI军队，确保他们像最高法院大法官信仰宪法那样，或者像美联储官员认真对待工作那样信仰宪法，将变得非常重要。

另一件重要的事情是，许多不同的派系需要他们自己的AI。每个政党都能拥有自己的超级智能，这非常重要。你可能完全不同意他们的价值观，但他们能够拥有自己的超级智能这一点很重要。让这些古典自由主义进程发挥作用很重要，包括不同派别的不同人群等。AI顾问可能无法让他们变得明智。他们可能不会听从建议，但这很重要。

Dwarkesh： 你似乎对对齐非常乐观。让我们探寻一下这种乐观的根源。你描绘了我们可能获得AI的不同世界。其中一个你认为明年发生概率较低，即GPT-5加上脚手架加上解除束缚就能让你获得AGI。也有一些场景认为这需要长得多的时间。

从我不指望它会失控的意义上说，GPT-4似乎已经对齐得很好了。也许有了脚手架，情况会有所改变。它看起来非常不错，也许你会继续推进，其中一个步骤就能让你达到ASI。

是否会有急转弯发生的时候？你是否认为当它们开始表现得更像智能体时，这会成为一个值得担忧的问题？从对齐的角度来看，你是否期望发生任何定性的变化？

Leopold： 我不知道我是否相信急转弯这个概念，但在现在和智能爆炸早期稍微超人类的系统之间，确实会发生重要的定性变化。从智能爆炸早期到展现其全部力量和威力的真正超级智能，也会发生重要的定性变化。

让我们谈谈这两点。问题的第一个部分是我们必须自己解决的。我们必须对齐最初的AI和智能爆炸，即类似自动化的Alec Radford。从GPT-4开始，有两件重要的事情发生了变化。如果你相信关于合成数据强化学习 (RL)、自我对弈能够突破数据壁垒的说法，如果你相信这个解除束缚的说法，最终你将拥有智能体。它们将进行长期规划。它们拥有长远的视野，这是能够进行自动化AI研究的先决条件。

预训练在某种意义上是对齐中立的，它包含了好的表示和做坏事的表示，但它并没有密谋反对你。一旦你进行更长视野的训练，就可能出现不对齐的情况。例如，如果你使用强化学习训练AI赚钱，它可能会学会欺诈、撒谎、欺骗或寻求权力，仅仅因为这些是现实世界中成功的策略。通过强化学习，它会进行探索，也许它会尝试黑客攻击，然后获得了一些钱。如果成功了，它就会获得奖励，这种行为就会被强化。一旦你能获得具备长远视野的系统，就必然可能出现更严重的不对齐问题，比如长期目标的不对齐。

我们换个角度。在这种情况下，你想做的就是添加侧面约束，比如“不要撒谎”、“不要欺骗”或“不要欺诈”。你如何添加这些侧面约束？你可能想到的基本思路是基于人类反馈的强化学习 (RLHF)。你有赚钱的目标，但你在观察它的行为。如果它开始尝试撒谎、欺骗、欺诈或违法，你就会给它点踩并反向强化这种行为。

出现的关键问题是，这些AI系统正在变得超越人类，并且将能够执行对人类来说过于复杂而无法评估的任务。即使在智能爆炸的早期，自动化的AI研究人员和工程师也可能编写数百万、数十亿或数万亿行复杂的代码。你再也无法理解他们在做什么了。在数百万行的代码中，你不知道它是否在进行黑客攻击、数据外传，或者试图获取核武器。

你不再知情。在这种场景下，单纯依靠点赞、点踩的纯RLHF不再完全有效。后RLHF时代该怎么做是一个艰难的技术难题，但它是可以解决的。我非常看好其中的一些方向。深度学习的发展在很多方面都呈现出了有利的态势。

画面的第二部分是从智能爆炸中的初始系统演进到超级智能，这涉及许多数量级 的提升。到了最后，你将拥有一个比人类聪明得多的实体。从对齐的角度来看，智能爆炸确实令人恐惧。如果在不到一两年的时间里发生这种快速的智能爆炸，你将从“失败后果虽糟但不致命”的系统，跨越到另一个世界——在那里，一旦出了岔子，AI就可能自我外传、开始入侵军方系统并酿成大祸。

在不到一年的时间里，AI将从你所理解的、具有良好特性的现有系统的后代，变成经历了又十年机器学习进步之后、架构可能非常陌生和迥异的东西。一个显著的例子是可读且忠实的思维链。我们在谈论这些事情时，常常说的是它如何拥有思维词元并使用大量的思维词元。也许我们的做法是通过预训练让它学会用英语思考来引导自己，然后再在此基础上做些别的，让它能进行更长的思维链。

在我看来，对于最初的自动化对齐研究人员来说，我们不需要做任何复杂的机械可解释性 (mechanistic interpretability)。你只需要阅读他们的想法，这是一个巨大的优势。然而，这很可能不是最有效的方式。很可能会出现某种内部状态完全不外显的循环架构，那才是高效得多的做法。

这就是到年底你会得到的东西。在这一年里，你将从RLHF++跨越到某种极度超越人类的东西。对我们来说，它可能就像该领域的专家之于中小学生。这对对齐来说是一个极其棘手的时期。你拥有的则是自动化的AI研究人员。你也可以利用他们来进行对齐工作。

Dwarkesh： 在这个世界里，为什么我们对项目由合适的人来运营感到乐观？这里有一点值得思考。OpenAI起初的团队非常明确地在思考的正是这类问题。

Leopold： 是的，但他们还在那里吗？

Dwarkesh： 不在了，但问题在于：即使是现任领导层，你也能在采访和博客文章中发现他们谈论这些事。你谈到了发生的事情，而且不止你一个人这么说。Jan Leike 在他的推文长文中也谈到了这一点。在决定是本周还是下周发布某个炫酷产品时必须做出取舍，可能因为下周是Google I/O大会诸如此类的原因。最终的权衡往往倾向于更草率的决定。

政府、国家安全顾问或军方等对这种话语体系要陌生得多。他们不会说：“我担心思维链不够忠实。我们该如何看待这里所代表的特征？”我们凭什么乐观地认为，由这样的人运营的项目会深思熟虑地考虑这类问题？

Leopold： 他们可能不会。这里有一些想法。首先，即使私营部门名义上关心，对齐工作在私营领域也极其艰难。有几个原因。商业实验室之间存在竞争。你没有空间说，“啊，实际上我们要推迟三个月，把这件事搞好。我们要将90%的算力投入到自动化对齐研究中，而不是仅仅追求下一个数量级的提升。”

另一件事是，在私营部门，中国窃取了你的权重。中国掌握了你的机密。他们紧追不舍。你处于狂热的斗争中。根本没有回旋的余地。确保对齐绝对至关重要。要在智能爆炸期间做到这一点，要确保它万无一失，你需要有回旋的余地，并且你需要保持绝对的领先地位。同样，也许你已经达成了某种协议，但如果没有这种绝对的领先地位，你的处境将异常艰难。

所以私营领域的环境有些恶劣。至于人们是否会认真对待……我对自由社会的常规机制抱有一些信心。我们目前还不完全清楚对齐是否是一个问题。科学会发展。我们将获得更好的对齐测量方法。情况将会变得清晰明了。

我担心在某些世界里证据是模棱两可的。许多最可怕的智能爆炸场景都发生在证据模棱两可的世界里。但同样，如果证据模棱两可，那么在这些世界中你才真正需要安全余量。在这些世界里，推动智能爆炸就好比指挥一场战争。证据并不明朗。你必须做出这些极其艰难的权衡。你最好有一个非常完善的指挥链，而不是由着他们拍脑袋蛮干。

关于德国，以及理解外国视角

Dwarkesh： 我们来谈谈德国。我们之前做了二战的类比。你几个小时前提到了一个非常有趣的观点。纵观历史，二战并非绝无仅有，至少在按人口比例计算时是这样。我们可以看看其他类似的、有大量人口死亡的灾难。

在那之后，国家会复苏并重返巅峰。二战后有趣的是，尤其是德国，或许整个欧洲，由于追赶型增长，在战后初期经历了巨大的经济增长。

我们并不是在谈论德国可能引发智能爆炸并在人工智能领域占据一席之地。我们谈论的是伊朗、朝鲜和俄罗斯。我们没有谈论德国。

Leopold： 因为他们是盟友。

Dwarkesh： 发生什么事了？我们经历了二战，但现在并没有退回到七年战争 (Seven Years' War) 之类的状态。

Leopold： 我总体上对德国非常悲观。在这种背景下，你有些低估了它。它可能仍然是世界上前五大最重要的国家之一。整个欧洲的GDP规模仍与美国接近。德国在某些方面表现不错，比如国家能力。道路状况良好，干净整洁且维护得当。

从某种意义上说，这在很大程度上也是德国不利因素的另一面。在美国，有一种狂野西部的感觉。这包括疯狂的创造力爆发，也包括政治候选人。这里的政治谱系要宽广得多。Obama 和Trump 这样的政客，在受限得多的德国政治辩论中是不会出现的。我曾经写过一篇关于这个主题的博客文章，名为《欧洲的政治昏睡》。

这种一丝不苟的规则遵循对于保持国家能力的运作是有好处的。但这在某种意义上也是一种非常受限的世界观。二战后，人们对任何精英事物都产生了强烈的抵触。没有精英高中或精英大学。追求卓越并不被推崇。

Dwarkesh： 如果你是想对纳粹矫枉过正，为什么反对精英主义是合乎逻辑、顺理成章的事？是因为纳粹非常热衷于精英主义吗？我不明白为什么这是一种符合逻辑的反应。

Leopold： 也许这是对整个雅利安人种及相关理念的反作用。看看德国在一战和二战结束时的境遇。一个普遍的说法是，《凡尔赛和约》对德国过于严苛。而二战后实施的和平协议要严苛得多。

整个国家都被摧毁了。在大多数主要城市，超过一半的住房被毁。在某些出生队列中，大约有 40% 的男性死亡，近 2000 万人流离失所。这种规模是巨大且疯狂的。

Dwarkesh： 边界比凡尔赛时期小得多。

Leopold： 没错。双方还完全强加了新的政治制度。但在某种意义上，这比一战后的和平带来了更好的结果，当时出现了德国民族主义的复苏。从某种意义上说，你未必想唤醒这只沉睡的野兽。而到如今，它已经睡得有点太沉了。

Dwarkesh： 关于我们如何低估美国政治制度，这是一个有趣的观点。我也一直在做同样的修正。有一本由中国经济学家写的书，叫《中国的世界观》。

总体而言，我不是那本书的忠实粉丝，但它提出了一个非常有趣的观点，即候选人在中国政治和行政体系中晋升的方式。从某种意义上说，这种选拔机制使得你不会看到像 Marjorie Taylor Greene 这样的人出现。

Leopold： 在德国你也不会看到这样的人。

Dwarkesh： 但他在这本书中明确指出，这也意味着中国永远不会出现 Henry Kissinger 或Barack Obama。当他们最终掌管 政治局 时，他们可能是一个 60 岁、从未得罪过任何人的官僚。

Leopold： 美国极其喧闹的政治辩论中有一些非常重要的东西。总体而言，在美国，很多人生活在自己的世界里。我们生活在旧金山这种奇异的小泡沫里。但这对于思想的演进、错误纠正等方面很重要。

在其他方面，德国的系统功能更完善。他们也犯过重大错误，比如在 国防开支 方面。俄罗斯入侵乌克兰时，他们的反应是：“哇，我们做了什么？”

Dwarkesh： 这是一个很好的观点。主要问题在于大家都达成了一致。

Leopold： 没错。对此没有任何辩论。这是一种 共识集团 式的现象。

关于中国这一点，我有读德国报纸的经验；如果没有这种经验，只是隔空观察，我对德国的辩论和心态的理解会差很多。有趣的是，中国对我来说是多么难以理解。那里有十亿人。

几乎所有其他事物都高度全球化。我们有一个全球化的互联网。我对英国正在发生的事情有所了解。即使我不读德国报纸，我也能感觉到德国在发生什么。但我真的觉得自己不了解普通中国人或中国精英阶层的心态以及政治辩论的状态。

我觉得这种距离感令人担忧。有一些人在这方面做了 出色的工作，他们研究党的文件和讲话。这似乎需要很强的解读能力。普通话中有些非常具体的词，带的是这一种意味，而不是那一种意味。考虑到现在一切都如此全球化，这很有趣。现在我们有近乎完美的翻译机器，但它仍然如此难以理解。

Dwarkesh： 这非常有趣。我几乎对自己还没有这样做感到羞愧。几个月前，当Alexey 在他的 YouTube 频道上 采访我 时，我说：“我打算去中国亲眼看看那里正在发生什么。”顺便说一句，如果有听众对中国有深入了解，并且如果我去中国，能把我介绍给相关人士，请给我发邮件。

Leopold： 你必须录制一些播客，并找到一些中国的人工智能研究员。那会非常好。我不知道他们是否能畅所欲言。

Dwarkesh： 他们发表了这些论文，论文上会列出共同作者。我在想，如果给所有人发冷邮件，比如：“这是我的 Calendly 链接，我们聊聊吧。”我只是想看看氛围如何。即使他们什么都不告诉我，我也只是想了解：“这是什么样的人？他们有多西化？”

我刚刚想起，事实上，据我们在Google 的共同朋友说，ByteDance 给 Gemini 论文上的每一个人发了冷邮件，并表示：“如果你来字节跳动工作，我们会让你成为 L8 工程师，直接向首席技术官 (CTO) 汇报。”

Leopold： 秘密就是这样泄露的。

Dwarkesh： 我早些时候就想问这个。如果只有 100 人左右（或许更少）在研究核心算法秘密，如果他们雇佣了这样一个人员，这些实验室积累的所有超额收益是不是就消失了？

Leopold： 如果这个人是有意为之，他们能获取很多信息。他们甚至可能直接窃取代码。他们能获取许多核心理念。直到最近，这些东西还都是公开发表的；但即便如此，只要他们有心去尝试，还是能获取许多核心理念。很多人并没有真正关注其他团队在做什么。但你是可以做到的。他们也能做到。这很可怕。

Dwarkesh： 把项目放在那边推进就合理多了——在那里，你可没法随随便便去挖一个曼哈顿计划的工程师。

Leopold： 这些秘密可能会用于未来每一次训练运行。也许它们是突破数据墙的关键，没有这些秘密，他们就无法继续。这些秘密将带来价值数千亿甚至数万亿美元的计算乘数效应。中国只需要给某人提供一亿美元，然后说“来为我们工作”。我非常不确定中国目前对AGI 有多重视。

这个领域的另一位研究员跟我讲了一件轶事。他和一位中国人工智能研究员参加了一个会议。他当时对那个人说：“你能来真是太好了。我们必须进行国际协调等等。”据说那个人回答说：“我是他们允许出国参加此类活动的最高级别的人员。”

Dwarkesh： 这说明了什么？

Leopold： 他们不允许资深人工智能研究员离境。这是一种典型的 东方集团 做法。

我不知道这是否属实，但这是我听到的。

Dwarkesh： 让我们回到你之前关于阅读德国报纸的观点。你之前提到你对经济、法律和国家安全感兴趣。知识摄取的广度让你能以其他谈论人工智能的人未曾有过的方式，思考这里的地缘政治问题。

这是我制作的第一期讨论这类话题的节目。现在回想起来，这很奇怪，因为事后看来这是显而易见的。我早该思考这个问题了。这是我们一直忽略的一点。

你遗漏了什么，不仅仅是国家安全方面？你可能对哪些视角接触不足？我想你提到了中国。

Leopold： 中国是一个重要的方面。另一个是某种非常像Tyler Cowen 的观点。你没有接触到美国普通人将如何使用人工智能。这种因素将成为这些技术传播的瓶颈。我高估了收入，因为我假设每个人都在采用它。但是公司里的普通工程师Joe Schmo，他们能将其整合吗？另外，对此会有什么反应？这是几个小时前的一个问题。人们难道不会反抗吗？他们不想做这个项目吗？我不知道。也许他们会。

Dwarkesh： 这里有一个我没预料到的政治反应。我已经跟你说过了，但我还是想再讲一遍这个故事。Tucker Carlson 最近参加了一期 乔·罗根的节目。他们开始谈论二战。

塔克说：“听着，我要说一些我的保守派同僚不喜欢听的话，但我认为核武器是不道德的。我认为我们在长崎和广岛使用核武器显然是不道德的。”

然后他说：“事实上，核武器总是不道德的，除非我们将其用于数据中心。事实上，如果不用在数据中心上，那才是不道德的，因为，看，硅谷的这些人，这些该死的书呆子，正在制造超级智能，他们说这可能会奴役人类。我们制造机器是为了服务人类，而不是奴役人类。而他们却在不断制造这些机器。因此，我们当然应该核打击这些数据中心。”这绝对不是我在 2024 年预期的政治反应。接下来会很疯狂。

Dwarkesh： 我们从新冠疫情中也学到了一点，你仅仅根据直觉预期的左翼和右翼反应——

Leopold： 它完全反转了多次。最初右翼很重视，而左翼觉得“这是种族主义”。然后情况反转了。左翼非常热衷于封锁。整个事情就是如此生硬和粗暴。

总体而言，人们可能喜欢提出一些复杂的、技术官僚主义的人工智能政策建议。如果通往 AGI 的道路进展相当迅速，可能并没有那么多空间留给复杂、巧妙的建议。那可能只会是更粗暴的反应。

Dwarkesh： 你提到了间谍和国家安全的介入等等。你可以在抽象层面上谈论这些，但现在我们住在旧金山，我们认识许多从事顶尖人工智能研究的人。想到我个人认识甚至互为朋友的人，这也有点可怕。如果他们脑子里有价值千亿美元的机密，你可能会看到绑架、暗杀和破坏，这并非不可思议。

Leopold： 哦，还有他们的家人。这真的很糟糕。关于安全问题，现在感觉很陌生。在某个时候，当情况变得非常严重时，你会想要配备保安。

Dwarkesh： 想必你已经考虑到，中国的人也会听这个播客并阅读你的系列文章。

不知何故，你做出了权衡：让全世界（包括中国）知道并唤醒他们对 AGI 的认识，比保持沉默更好。你担心的一部分原因是中国意识到 AGI。我对此很好奇。跟我说说你是如何权衡的。

Leopold： 这是一个艰难的权衡。我想了很多。中华人民共和国 (PRC) 的人会读到这个。

在某种程度上，秘密已经泄露了。AGI 是人们正在非常认真思考的事情。这不再是新鲜事。很多这些观点有些陈旧，或者说我一年前就有类似的看法。我一年前可能没有把它写出来，部分原因是我觉得当时秘密还没有完全泄露。

为了能够应对这一挑战，社会中更广泛的群体需要觉醒。如果我们想推进这个项目，我们实际上需要对我们面临的挑战有一个广泛的、跨党派的理解。这是一个艰难的权衡。唤醒美国、西方世界和民主联盟的人最终势在必行。我的希望是，这里读到它的人比在 PRC 读到它的人多。

人们有时会低估将其写下来并阐明战略图景的重要性。在某种意义上，你的播客实际上为人类做出了一项伟大的服务。总体而言，这是件好事。

Dwarkesh 的移民故事与播客之路

Leopold： 顺便提一下关于德国的话题。我们曾一度谈论过移民故事。你有一个还没有讲过的有趣故事，我认为你应该分享一下。

Dwarkesh： 几年前我还在读大学，当时20岁，即将满21岁。

Leopold： 你很小的时候就从印度过来了，对吧？

Dwarkesh： 在八九岁之前我都住在印度。之后我们四处搬迁。由于 印度人的签证积压 问题，我们排队等了几十年。

Leopold： 尽管你八岁就来了，但依然持有 H-1B 签证。

Dwarkesh： 年满21岁时就会被踢出排队名单，必须重新开始申请流程。我父亲是医生，我作为受抚养人依附于他的 H-1B 签证。但在21岁时就会被取消资格。当时我20岁，突然意识到这就是我的处境。

Leopold： 你彻底陷入困境了。

Dwarkesh： 父亲的经历也让我对此深有体会。我们在全国各地搬迁。作为医生，他们必须证明无法招募到本地人才。

Leopold： 你也不能创办初创公司。即使为你申请 H-1B 签证，运气好的话也只有20%的中签率。

Dwarkesh： 此外，他们必须证明无法招募到本地人才，这意味着我们在北达科他州住了三年，在西弗吉尼亚州住了三年，然后是马里兰州和西德克萨斯州。

在我即将满21岁时，我突然意识到这就是我的处境。我将参与抽签。即使抽中了，余生也只能做个枯燥的“码农”，因为这种限制不会放松。

Leopold： 是的。无法创办初创公司。

Dwarkesh： 确实如此。同时，在过去的一年里我一直在阅读，并且非常痴迷于 Paul Graham 的文章。当时的计划是创办一家初创公司。对此我感到非常兴奋。

我突然意识到自己无法做到这一点。这对我来说根本不可能。我感到有些沮丧。我记得期末考试期间一直精神恍惚，因为我刚刚意识到这一点。我对此感到非常焦虑。

我记得当时暗自思忖，如果能在21岁前拿到绿卡，我绝不会去做“码农”。我感受到的那种恐惧，源于我意识到自己只能去做“码农”。我意识到那是我的默认路径。如果我没有主动努力改变现状，我就会以计算机科学专业学生的身份毕业。我只会那样做。那是我非常害怕的事情。这对我来说是一个重要的顿悟。

无论如何，新冠疫情爆发了。正因如此，由于没有外国人入境，签证积压得到了快速处理，我勉强在21岁前几个月，因为一些极其偶然的疯狂原因拿到了绿卡。

因为拿到了绿卡，我就能——

Leopold： 做整个播客了。

Dwarkesh： 大学毕业后我无所事事。我提前一个学期毕业。我打算做这个播客看看效果如何。如果没有绿卡，最好的情况——

Leopold： 这真是一种文化现象。移民改革的影响是什么？清理五万张积压绿卡的影响是什么？你就是一个惊人的例子，说明这一切只有在那种偶然情况下才可能实现。这种极度失调的系统令人感到无比可悲。

Dwarkesh： 这太疯狂了。

Leopold： 我很高兴你做到了。我很高兴你尝试了这条不寻常的道路。

Dwarkesh： 我能做到这一点仅仅是因为非常幸运地拿到了绿卡。我攒了一点钱。大学毕业后，多亏了Future Fund ，我获得了一小笔资助，可以全职做六个月。结果非常顺利。每次我都在想：“好吧，播客。来吧。我在这上面浪费了几个月。现在去干点正事吧。”但在每个关键时刻，总会发生一些大事。

Leopold： 你坚持下来了。

Dwarkesh： 每当我准备放弃播客时，总会发生一些转机。Jeff Bezos 会在推特上 对我说些赞美之词。Ilya 的那期节目 获得了约五十万次观看。现在这成了我的职业。但回想起来，事情能顺利发展具有极大的偶然性。

Leopold： 如果AGI 成为现实，这将会是大多数最终感受到 AGI 的人首次了解它的途径。

Dwarkesh： 你在许多方面也与这个故事紧密相连。我大学一毕业就从Future Fund获得了大约两万美元的资助，这维持了我六个月左右的生活。如果没有那笔钱……

Leopold： 微薄的资助。这很疯狂。这说明小额资助能发挥多大的作用。Emergent Ventures 也是如此。

Dwarkesh： 确实如此。Emergent Ventures。过去一年我在旧金山，我们一直保持密切联系，并不断交流想法。人们会惊讶于我从你、Sholto、Trenton 以及其他几个人那里获得了多少有价值的信息。

Leopold： 这绝对是一种荣幸。

Dwarkesh： 同样地，这非常有趣。这里有一些随机问题想问你。如果你能皈依摩门教并且能真心信仰它，你会这么做吗？你会按下那个按钮吗？

Leopold： 在回答这个问题之前，我想分享一个关于摩门教徒的观察。有 一篇文章 对我产生了很大影响。那是McKay Coppins 在《大西洋月刊》上发表的关于摩门教徒的文章。他甚至在文章中采访了Mitt Romney。

他谈到与众不同的成长经历，非常不同寻常的成长经历，特别是如果你在犹他州以外作为摩门教徒长大。你是唯一不喝咖啡因、不喝酒的人，这让人觉得有些怪异。这种经历让人们准备好在未来乐于游离于常态之外。

Mitt Romney愿意在党内孤军奋战，因为他坚信自己的信念是正确的。虽然可能不完全相同，但由于在德国长大，曾作为某种局外人，我也有类似的感受。

作为局外人长大会在日后赋予你不同寻常的力量，让你敢于表达自己的想法。所以这是我非常欣赏摩门教徒的一点，至少是那些在犹他州以外长大的人。

另一点是生育率。他们的生育率不错。他们很重要。但他们的生育率也在下降。这确实让我确信了生育率下降的趋势。甚至摩门教徒也不例外。

Dwarkesh： 你好像在想：“哦，这是一个好的开始。摩门教徒将取代所有人。”

Leopold： 我不知道这是好是坏，但至少有些人会维持高生育率。不过并非如此，甚至摩门教徒……一旦这些拥有高生育率的宗教子群体发展到足够大的规模，他们就会与正常社会产生过于密切的接触并被同化。在10到20年的时间里，他们的生育率可能会从四降到二。

人们会提到阿米什人 或其他人，但这条路可能无法规模化。如果规模足够大，现代性这种压倒性的力量就会影响到你。

不，如果我能皈依摩门教……我认为其中存在一些价值……我不相信它，对吧？如果我相信它，显然就会去皈依，因为必须皈依。

Dwarkesh： 但你可以选择一个你确实相信它的世界。

Leopold： 信仰某种超越自我的事物并拥有一定程度的信念，确实具有很大的价值。

Dwarkesh： 你有这种信念，对吧？这就是你这个系列文章的核心。

Leopold： 对某种超越自我的事物抱有责任感是有价值的。也许我的版本有些不同。对于这一切将如何展开的历史分量，我感到某种责任。我感到有责任让这一切顺利进行。我对我们的国家、对美国的国家安全感到有某种责任。我们可以成为一股强大的向善力量。

Dwarkesh： 回到 OpenAI 的话题，有一点特别令人印象深刻。公司里有些人在科技行业工作了几年甚至几十年，积累了大量积蓄——可能有数千万美元的流动资金，以及价值更高的股权。许多人担心计算集群、中东问题、机密泄露给中国以及所有这些事情。

而真正在此问题上据理力争的人——据理力争的作用往往被严重低估了——是一个在公司待了不到一年、没有攒下积蓄、还没在公司站稳脚跟的22岁年轻人。

Leopold： 也许是我太天真，不懂大公司是如何运作的。有时我有点像一个言论 义务论者。我倾向于相信应该畅所欲言。有时朋友告诉我，我应该更像一个言论 结果主义者。

Dwarkesh： 我在想，有多少人在有机会和关键人物交谈时，真的会直接把那件事提出来。我在多种场合下与你共事过。我想我不应该透露那个人是谁，或者当时是什么情况。

令我印象深刻的是，一场晚宴下来，到结束时，一位对事态走向拥有重要发言权的人，已经在认真思考一种他们在晚宴开始前会觉得极其陌生的世界观。你向他们阐述观点并据理力争的做法让我印象深刻。

Leopold： 现在我对这些事情有非常深刻的切身感受。曾有一段时间，我经常思考这些事情，但那更像是经济模型和理论抽象。你谈论的是人类大脑的尺寸或其他类似话题。

至少从去年开始，我觉得自己能看到它了。我能感受到它。我甚至能看到可以用来训练 AGI 的计算集群。我能看到算法的大致组合、将参与其中的人员，以及这一切将如何发展。我们会看到事情如何发展。有很多可能出错的方式。也有很多可能的发展方向，但这可能会变得非常真实。

创办 AGI 对冲基金

Dwarkesh： 我们应该谈谈你接下来的打算吗？

Leopold： 当然可以。

Dwarkesh： 你正在创办一家投资公司，并获得了纳特·弗里德曼 (Nat Friedman)、丹尼尔·格罗斯 (Daniel Gross)、帕特里克·科里森 (Patrick Collison) 和约翰·科里森 (John Collison) 的锚定投资。首先，如果你相信通用人工智能 (AGI) 将在几年内到来，为什么创办投资公司是正确的选择？为什么选择投资公司？

Leopold： 这是一个好问题。也是一个合理的问题。有几点原因。我们之前讨论过这个，当 AGI 出现时，世界并不会陷入停滞。人们严重低估了智能爆炸之后的十年。那可能是最疯狂的时期。随后的十年也将是疯狂的。

人类机构与超级智能的结合，加上正在发生的剧烈地缘政治变化，导致这种爆炸性增长的不断蔓延。这将是一个非常重要的时期。资本将发挥至关重要的作用。最终我们将走向星辰大海，探索星系。

部分原因在于，如果操作得当，这其中蕴含着巨大的商业机会。如果 AGI 的价值在明天被市场完全计价，你或许能获得百倍收益。考虑到事件发展的顺序和资本的重要性，收益甚至可能远超于此。

另一个原因是为了获得一定程度的自由和独立。有许多人在人工智能领域非常聪明，并且预见到了它的到来。但他们几乎都受到各种形式的限制。他们或者在实验室工作，或者处于某些无法自由谈论这些事情的职位上。

我非常钦佩你所做的事情。在公共领域发出关于这些事情的理智声音，或者有人能够处于为关键决策者提供建议的位置，这非常重要。

这家投资公司将类似于一个专注于人工智能的智库。其核心将是 情境感知。我们将拥有业内最敏锐的 情境感知。我们的 情境感知 将远远超过纽约那些管理资金的人。我们肯定会在投资方面取得优异成绩，但正是这种 情境感知 对于理解正在发生的事情、在公共领域发出理智声音以及能够提供建议至关重要。

Dwarkesh： 在关于彼得·蒂尔 (Peter Thiel) 的书中，他们对他旗下的对冲基金有一段有趣的评价。该基金的回报率非常糟糕。所以这不是一个好例子……

Leopold： 它爆雷了。这算是一个反面教材：太理论化了。

Dwarkesh： 他们有一段有趣的引用，称它本质上是一个对冲基金内部的智库。

Leopold： 这正是我想要构建的。

Dwarkesh： 假设你已经考虑过这类事情可能失败的方式。有许多有趣的商业历史书籍讲述了那些判断对了趋势但时机错误的人。他们认同互联网将带来巨大影响的观点。但在互联网泡沫期间，他们在错误的时间卖出，又在错误的时间买入。尽管他们对趋势判断正确，但还是错失了收益。防止这类情况发生的诀窍是什么？

Leopold： 显然，避免破产是首要任务。这家投资公司将专注于押注 AGI。我们将押注于 AGI 和超级智能会在这个十年结束之前出现，严肃对待这一趋势，并基于这种严肃态度进行投资。如果判断错误，公司业绩自然不会好。

你必须经得起一两次、哪怕几次个别判断的失误。例如，由于数据墙导致人工智能停滞一年，或者你对收入增长的预测时机出错。这非常关键。你必须把握好时机。在通往 AGI 的道路上，投资顺序其实极其重要。人们低估了这一点。

故事从哪里开始？显然，过去一年唯一的投资标的就是英伟达 (Nvidia)。现在看来这很明显，但当时很少有人这样做。这也是我和一位朋友与另一位同事之间的一场经典辩论。这位同事非常看好台积电 (TSMC)。他认为：“这些晶圆厂将会非常有价值。而投资英伟达存在很多个体风险，也许其他人会制造出更好的 GPU。”这大体上是正确的。

但只有英伟达具备人工智能的贝塔系数 (Beta)，因为只有英伟达的业务很大比例是人工智能。接下来的几次成倍增长将极大地引爆他们的收入，而台积电只有百分之几的业务属于人工智能。即使人工智能实现几次翻倍增长，也不会对台积电产生那么大的影响。在一段时间内，唯一能找到人工智能贝塔系数的地方就是英伟达。

现在这种情况正在扩大。据台积电称，到 2027 年，人工智能业务将占其总业务的 20% 左右。当我们谈论成倍增长时，这将占据他们业务的很大一部分。这是一个完整的产业链。有制造存储器、冷却系统和电力的公司。公用事业公司开始对人工智能感到兴奋。他们预测：“美国未来五年的电力生产增长将不是 2.5%，而是 5%。”我认为：“不，增长会更多。”

在某个阶段，像谷歌 (Google) 这样的公司会变得具有吸引力。人们对他们在人工智能领域的表现感到兴奋，因为“人工智能收入将达到 100 亿美元或数百亿美元”。在此之前，我并不太关注他们。一旦他们获得了人工智能的贝塔系数，我就会开始关注。在某个时候，谷歌将从人工智能中获得 1000 亿美元的收入。他们的股价可能会飙升。无论如何，他们都将成为一家价值 5 万亿美元或 10 万亿美元的公司。

时机非常重要。你必须把握好时机。你必须做对投资顺序。实际上，在某个阶段，实际利率将对股市构成真正的逆风。在这种爆炸性增长的世界中，你预计实际利率会大幅上升。在供给侧，这将围绕对资金的需求展开，因为人们将进行这些疯狂的投资，最初是计算集群，然后是机器人化工厂等。他们将疯狂地借贷。他们想要所有这些资本，因为投资回报率很高。

在消费者储蓄端，为了让渡这些资本，将适用欧拉方程 (Euler equation)，这是关于消费跨期转移的标准权衡。

Dwarkesh： 非常标准的理论。

Leopold： 我们的一些朋友对此写过一篇论文。如果消费者预期实际经济增长率会更高，那么利率也会更高，因为他们不太愿意为了未来的消费而放弃当下的消费。

在某个阶段，实际利率将会上升。更高的经济增长率预期意味着股市将会下跌，因为利率上升带来的负面效应将超过经济增长带来的正面效应。

在某个阶段会出现大规模的债券做空机会。你必须把握住这一点。你还必须对国有化有正确的判断。这是一个完整的事件序列。

Dwarkesh： 还有未知的未知因素。

Leopold： 未知的未知因素，是的。你必须对整体风险敞口非常谨慎。如果你预期这些疯狂的事件会发生，那么必定会出现你无法预见的情况。

你还需要根据你的情景预测进行量身定制的投资，这意味着你要找到那些押注尾部风险的投资机会。我不认为有人预期实际利率会超过 10%。但在这个十年结束之前，至少存在这种相当大的可能性。也许你可以为此购买一些廉价的保险。

Dwarkesh： 一个非常愚蠢的问题。在这样的世界里，你进行这类投资的金融市场还会受到尊重吗？当经济实现 50% 的增长时，我的富达 (Fidelity) 账户还有意义吗？谁会说“我们必须尊重他的财产权”？

Leopold： 那是相当后期的阶段了，债券做空，50% 的经济增长。这非常遥远。再次强调，这是一个完整的事件序列。我认为财产权会受到尊重。在某个阶段，我们将需要弄清楚星系的财产权。那将会很有趣。

Dwarkesh： 那确实很有趣。回到你的策略，关于 2030 年代对未来发展有多么重要，你希望到那时凭借资本处于有影响力的位置。

据我所知，可能有很多关于这个话题的文献，我只是随口一说。在工业革命开始之前的地主阶级，我不确定他们是否能够以某种乔治主义 (Georgist)或皮凯蒂 (Piketty)式的方式利用其地位，从而获得通过工业革命实现的回报。我不知道发生了什么。在某个阶段，他们就不再是地主阶级了。

我担心，即使你的投资决策非常出色，你也会像工业革命前拥有大量农田的人一样。真正赚大钱的是拥有蒸汽机的人。甚至他也赚不了那么多钱，因为大部分收益都被广泛分散了。

Leopold： 类似的做法是你卖掉土地，把所有资金投入到建设新产业的人身上。对我来说，真正贬值的资产是人力资本。我是哥伦比亚大学的毕业生代表。让你与众不同的是你的聪明才智。但在四年后，这可能不再重要，因为它将被自动化取代。

一位朋友开玩笑说，这家投资公司对我来说是完美的对冲。要么 AGI 在这个十年内出现，我的人力资本贬值，但我将其转化为金融资本；要么 AGI 没有出现，公司业绩不佳，但我仍然二十多岁并且聪明。

Dwarkesh： 太棒了。关于为什么 AGI 尚未被市场计价，你的解释是什么？金融市场本应非常有效，因此很难获得优势。天真地想，你可能会说：“我看过这些规模扩展曲线，它们意味着我们将购买比分析师预期多得多的算力和能源。”那些分析师现在难道不该破产了吗？发生了什么事？

Leopold： 作为一名经济学家，我过去是相信有效市场假说 (EMH)的。但现在，我认为像旧金山的这群聪明人，在预见未来方面相比社会其他群体拥有超额收益 (Alpha)。

就像新冠疫情 (COVID) 一样。同样是一群人预见到了它的到来并做出了完全正确的判断。他们做空了市场并获得了丰厚的利润。为什么 AGI 尚未被计价？这就像问为什么政府还没有将实验室国有化一样。社会还没有将其计价。它还没有完全扩散。我可能是错的，但并没有多少人严肃对待这些观点。

二战的教训

Dwarkesh： 我还在思考一些其他尚未讨论的想法。一个是系统竞争。关于二战，我最喜欢的书之一是 维克托·戴维斯·汉森 (Victor Davis Hanson) 的全景总结。他解释了同盟国为何比轴心国做出了更好的决策。

Leopold： 他们为何能做出更好的决策？

Dwarkesh： 轴心国也做出过一些相当不错的决策，比如 闪电战。

Leopold： 那某种程度上是个意外。

Dwarkesh： 怎么说？是因为他们刚好有遗留下来的基础设施吗？

Leopold： 我的理解是，闪电战并非什么巧妙的战略，而是迫不得已。这是非常符合亚当·图兹 (Adam Tooze) 视角的二战叙事。这里有一个持久战与速决战的概念，非常重要。德国意识到，如果陷入持久战，尤其是在美国参战的情况下，他们在工业上将无法与之竞争。他们唯一的获胜途径就是速决战。这个策略的效果超出了他们的预期，让他们成功占领了法国及欧洲大部分地区。

入侵苏联的决定与西线有关，因为他们需要石油等资源。奥斯威辛 (Auschwitz) 实际上是一个生产合成油及其他物资的巨型化工厂。那是纳粹德国最大的工业项目。他们认为：“我们在第一次世界大战中击溃了他们，这次也会很轻松。我们将入侵并获取资源，然后继续在西线作战。” 即使在入侵苏联期间，尽管大量死亡发生在东线，德国很大一部分工业生产（飞机、海军部队等）依然被用于西线，对抗西方盟国。

顺便说一下，持久战与速决战的概念很有意思，尤其是在思考中美竞争时。我担忧美国潜在工业能力的衰退。目前中国建造的船只数量大约是美国的200倍。

或许我们在非人工智能领域的军事装备上占有优势，能够赢得速决战或保卫台湾。如果战争拖延下去，中国可能更有能力调动工业资源，而我们已经无法做到这一点。这也与人工智能有关。如果构建通用人工智能 (AGI) 需要万亿美元规模的集群而不是千亿美元规模的集群，甚至就算在千亿美元规模的集群上，你能否为超级智能提供高出一个数量级的计算能力也至关重要。也许他们目前处于落后状态，但他们拥有强大的潜在工业能力，可以在建设规模上超过我们。

这在 AGI 研发阶段及之后都至关重要。你已经在集群上拥有了超级智能，接下来就是扩张爆发式增长的时刻。我们会让机器人工厂不受限制地运转吗？我们可能不会，但中国也许会。我们将生产多少无人机？我担忧会出现一场工业大爆发。

Dwarkesh： 你肯定是世界上少数几个既关注对齐问题，又希望确保在获得人工超级智能 (ASI) 后让机器人工厂继续运转以击败中国的人之一。这非常有趣。

Leopold： 这都是整体图景的一部分。

Dwarkesh： 说到 ASI、机器人工厂及机器人军队。一个有趣的问题是，你将如何利用工业规模的智能。显然不仅仅是聊天机器人。这很难预测。

石油的历史非常有趣。在 19 世纪 60 年代，我们掌握了炼油技术。一位 地质学家 发现了它，随后标准石油公司 (Standard Oil) 创立。当时出现了一场巨大的繁荣，改变了美国政治。立法者被石油利益集团收买。总统的选举也取决于针对石油及拆分石油公司的分歧。

所有这一切都发生在汽车发明之前。灯泡是在炼油技术被发现 50 年后发明的。标准石油公司的大部分历史都早于汽车的发明。当时石油仅仅用于煤油灯照明。

Leopold： 所以他们曾认为石油将不再有用武之地？

Dwarkesh： 是的。当灯泡被发明时，有人担心标准石油公司会破产。你意识到这里蕴藏着巨大的压缩能量。你每年将拥有数十亿加仑的这种物质。很难提前预测你能用它做什么。后来，它被用于交通运输和汽车。

关于智能，也许一个答案是智能爆炸。但即使在那之后，你拥有所有这些 ASI 和足够的计算能力，尤其是为了运行它们而将要构建的计算能力——

Leopold： 数以亿计的 GPU 将嗡嗡作响。

Dwarkesh： 我们将用它做什么？很难提前预测。弄清楚那些木星大脑 (Jupiter brains) 将做什么会非常有趣。

对当前局势的 情境感知，我们已经有了，而且今天已经充分领略了一番。我们现在讨论的很多内容在多年前是无法预测的。你的世界观在某种程度上暗示着事物将因人工智能而加速发展。

随着时间的推移，许多不可预测的因素将变得显而易见，比如民众、政治体系及外国竞争对手将如何反应。情境感知 不仅仅是了解现状，还意味着能够对新信息做出适当的反应，并相应地改变你的世界观和建议。

将 情境感知 视为一个持续的过程而不是一次性的顿悟，正确的方法是什么？

Leopold： 这个问题问得好。保持思维的灵活性并愿意改变想法是非常重要的。这就是在 AGI 辩论中许多人思维僵化的原因。末日论者十年前对 AGI 很有先见之明，但他们并未根据深度学习的实证现实进行更新。他们的提议幼稚且不可行。这其实毫无意义。

有些人带着预设的意识形态介入，比如 有效加速主义者 (e/accs)。他们喜欢在网上发一些关于技术的垃圾帖，但并没有真正深入思考。还有些停滞论者，他们认为这些仅仅是聊天机器人，没有风险，或者没有考虑到巨大的国家安全隐患。

当你在公开表达某种立场后，尽管有相反的证据，依然固执己见，这就存在世界观僵化的风险。因此我想做一个重要的免责声明。描绘出一幅具体而生动的图景是很有价值的。这只是我目前对这十年发展趋势的最佳猜测。如果情况真的如此发展，那将是极其疯狂的。鉴于发展步伐如此迅速，我们将不断获得更多信息，保持头脑清醒至关重要。

我觉得这是最重要的一点。这与我们之前谈到世界惊人的狭小有关。我过去认为重要的事情都由政府和人工智能实验室中能力出众的人来处理。

从个人经历以及观察新冠疫情的管理方式来看，我意识到并非所有人都在关注这些问题。并没有其他人在跟进并确保事情顺利进行。真正重要的是，优秀的人能够给予这些问题应有的重视，具备 情境感知 的能力，愿意改变想法，并直面现实。我寄希望于这些优秀的人。

Dwarkesh： 好的，这是一个很棒的结束语。

Leopold： 非常感谢你，Dwarkesh。这是莫大的荣幸。

Dwarkesh： 非常精彩。

尾声：腓特烈大帝 (Frederick the Great)

Leopold： 有趣的是，我们谈论的许多关于德国历史的内容，其实并非我在德国学到的。那是我后来学到的。当我在圣诞节或其他时候回到德国时，我突然明白了那些街道名称的含义——格奈森瑙 (Gneisenau)、沙恩霍斯特 (Scharnhorst)，所有这些普鲁士军事改革家。你最终也了解了 无忧宫 (Sanssouci)，并意识到那是为 腓特烈大帝 (Frederick) 建造的。

腓特烈大帝是一个非常有趣的人物。他是个热爱艺术的同性恋者。他讨厌说德语，只想说法语。他吹长笛，还会作曲。他将当时所有伟大的艺术家都请到了无忧宫。他有一位非常严厉的普鲁士军人父亲，因此他的成长经历非常艰辛。当腓特烈大约 17 岁时，他有一个男性情人。他的父亲将他囚禁，并在他面前绞死了他的情人。

尽管经历了这些，腓特烈大帝后来却成为普鲁士历史上最成功的征服者之一。他夺取了 西里西亚 (Silesia)，打赢了七年战争，是一位了不起的军事战略家。他的过人之处在于侧翼包抄战术，这在当时是革命性的打法。普鲁士几乎要输掉七年战争，但俄国沙皇突然易主，新沙皇恰好是普鲁士的狂热崇拜者，这才让腓特烈得以重整旗鼓、反败为胜。他是德国历史上一个怪异却引人入胜的人物。

Footnotes

1. 原文此前在此处所附链接指向的事件，并非 Leopold 所提到的那起重大安全事件。 ↩