情境感知：V. 结语与临别思考 (Parting Thoughts)

如果我们是对的，该怎么办？

本篇目录：

• AGI 现实主义
• 如果我们是对的，该怎么办？

---

“直到今天，我依然清晰地记得 1941 年的那个春天。那时我意识到，原子弹不仅是可能的——它甚至是不可避免的。迟早，这些想法将不再为我们所独有。用不了多久，所有人都会想到它们，而某些国家将会付诸行动。[……]

而且没有可以倾诉的人，我度过了许多失眠之夜。我确实意识到这可能会变得非常非常严重。于是从那时起我不得不开始服用安眠药。那是唯一的办法，从那以后我便再也没有停药。至今已经 28 年了，我认为在这 28 年里我没有漏掉过哪怕一个夜晚。”

—— James Chadwick （诺贝尔物理学奖得主，1941 年英国政府关于原子弹不可避免性报告的起草者，该报告最终促使曼哈顿计划付诸行动）

在这十年结束之前，我们将开发出超级智能。这就是本系列文章大半部分所探讨的内容。对于我在旧金山交谈的大多数人来说，到这里画面就直接黑屏切断了。但接下来的十年——也就是 2030 年代 ——将至少同样充满波澜。到那个十年结束时，世界将被彻底改变，变得令人无法认出。一个新的世界秩序将被锻造出来。但可惜——那将是另一个故事了。

目前，我们必须先在此收尾。让我做一些最后的结语。

AGI 现实主义

这所有的一切都需要极大的心智去审视与思考——而许多人做不到。他们每年都在宣称：“深度学习正在撞墙！”各种权威专家们自信满满地断言，这不过是又一次技术泡沫。然而，即使在身处旧金山震中核心的人群中，舆论也早已极化为两种根本上极不严肃的阵营口号。

一方面是末日论者（Doomers）。多年来他们一直痴迷于 AGI 的毁灭风险；我非常赞赏他们的先见之明。但他们的思维已经僵化，脱离了深度学习的实证现实，他们的提议天真且不切实际，并且他们完全忽略了极其真实的威权主义威胁。那些宣称 99% 毁灭概率的狂热言论、呼吁无限期暂停 AI 研发的倡议——显然都不是正确的出路。

另一方面是有效加速主义者（e/accs）。从狭义上讲，他们有一些好的观点：AI 的进步必须继续。但在他们肤浅的 Twitter（X）灌水和玩梗之下，他们不过是一场骗局；这群业余爱好者只想做一些套壳初创公司（wrapper startups），而不敢正视 AGI 的本质。他们声称自己是美国自由的狂热捍卫者，却无法抵挡声名狼藉的独裁政权资金的诱惑。实际上，他们才是真正的停滞主义者。在试图否认风险的过程中，他们实际上否认了 AGI 本身；在他们眼里，我们最终得到的不过是一些很酷的聊天机器人，而这些机器人当然没有什么危险性。（在我看来，这种加速主义真是令人大失所望。）

但在我看来，这个领域里最聪明的人已经汇聚到了一个截然不同的视角上，即第三条道路，我将其称为 AGI 现实主义 (AGI Realism)。其核心原则非常简单：

• 超级智能关乎国家安全。我们正在迅速制造出比最聪明的人类还要聪明的机器。这绝不是硅谷的又一次热潮；这绝不是什么业余开发者社群在编写一套人畜无害的开源软件；这绝不是一场游戏。超级智能的发展将会极其狂野；它将是人类有史以来制造的最强大的武器。对于我们所有参与其中的人来说，这将是我们一生中所做的最重要的事情。

• 美国必须保持领先。如果让国家竞争对手先拿到 AGI，自由的火炬将不复存在。（而且，从现实来看，美国的领导地位也是实现安全 AGI 的唯一途径。）这意味着我们不能简单地“暂停”；这意味着我们需要迅速扩大美国的电力生产，以在美国本土建立 AGI 算力集群。但这也意味着，那些初创公司业余级别的安全防线（它们等于直接将核心“核机密”拱手送给中共）已经完全不够用了，而且这意味着核心的 AGI 基础设施必须由美国控制，而不是受制于中东的某些独裁者。美国的 AI 实验室必须把国家利益放在首位。

• 我们绝对不能搞砸。认清超级智能的威力，也意味着认清它的危险。这其中存在着非常真实的安全性风险，也非常有可能彻底失控——这或许是因为人类利用其带来的毁灭性力量来互相毁灭，又或者是因为，我们正在召唤的这个“外星物种”目前还无法完全被我们掌控。这些风险是可控的——但临时拼凑是绝对行不通的。要应对这些险境，需要优秀的人才带着前所未有的严肃态度来共同面对。

随着加速的不断加剧，我预计舆论争吵只会变得更加刺耳。但我最大的希望是，会有一些人能够感受到即将到来的未来所具有的沉甸甸的分量，并将其视为对自己责任与使命的庄严召唤。

如果我们是对的，该怎么办？

读到这里，你可能会觉得我和所有其他在旧金山的人都完全疯了。但请试想一下，哪怕只是一瞬间：如果他们是对的呢？ 这些人正是亲手发明并建造了这项技术的人；他们认为 AGI 将在当前这十年内被开发出来；而且，尽管他们的观点光谱相当宽广，但其中许多人都极其严肃地对待这一可能性——即通往超级智能的道路将如我在本系列文章中所描绘的那样展开。

我几乎可以肯定，在这个推演故事中，我有些重要的部分说错了；如果现实真的如我描绘的这般疯狂，其误差范围（error bars）将会非常巨大。此外，正如我在开头所说，我认为未来存在着广泛的可能性。但我认为具体化（concrete）是很重要的。而在本系列中，我阐明了目前我认为在当前这十年的剩余时间里——在 这一个十年 剩余时间里——最有可能发生的一种情景。

因为——这一切开始让人感到真实，非常 真实。几年前，至少对我而言，我虽然也严肃看待这些想法——但它们是抽象的，被隔离在数学模型和概率预估的沙盘中。而现在，这种感觉已经变得极其直观与具体。我能 看见 它。我能 看见 AGI 将如何被建造出来。这不再是关于人类大脑容量的估算、各种假设和理论推导——我基本上可以直接指出用来训练 AGI 的算力集群是什么、它将在何时建成、我们将采用怎样的粗略算法组合、当前尚未解决的难题以及攻克它们的路径，甚至是指明其中起决定性作用的关键人物清单。我能 看见 它。这一切都极其真实。当然，在 2023 年初梭哈带杠杆做多英伟达（Nvidia）确实是一次伟大的投资，但历史的重担重若千钧。如果可以选择，我绝不愿承担这种重托。

但最可怕的醒悟在于：根本没有所谓的“精英团队”来接管和处理这一切。小时候，你对世界有着美好的憧憬，认为当危机真正降临时，总会有英勇的科学家、能力超群的军人、以及冷静沉着的领袖站出来主持大局，挽救世界。但现实并非如此。这个世界的顶层圈子小得令人难以置信；当面纱揭开，幕后往往只有寥寥数人是真正的局中关键玩家（live players），他们正在拼尽全力阻止一切走向分崩离析。

眼下，全世界大概只有几百人真正意识到我们将面临什么，理解局势即将变得多么疯狂，并拥有这种“情境感知”（situational awareness）。我本人可能要么直接认识，要么仅通过一度人脉关系便能联系上所有可能主导这个“大项目”（The Project）的人。在幕后拼命阻挡一切分崩离析的极少数人，其实就是你、你的朋友们，以及他们的朋友。仅此而已。除此以外，别无他人。

终有一天，局势会超出我们的掌控。但就在当下，至少在这场中期博弈的未来几年里，世界的命运就维系在这群人身上。

自由世界能否最终获胜？

我们会驯服超级智能，还是会被它所驯服？

人类能否再次避开自我走向毁灭的深渊？

赌注之大，莫过于此。

这是一群伟大而光荣的人。但他们也终究只是普通人。不久之后，AI 将接管并运行这个世界，但我们还将迎来最后一场属于人类自身的牛仔竞技（one last rodeo）。愿他们最后的管理与守护，能为人类带来无上的荣光。