情境感知：IV. 大项目 (The Project)

随着 AGI 竞赛的加剧，国家安全机制必将介入。美国政府将从沉睡中惊醒，到 2027/28 年，我们将看到某种形式的政府 AGI 项目。没有任何一家初创公司能够独自应对超级智能。在某个敏感信息隔离设施（SCIF）中，终局之战即将打响。

本篇目录：

• 通往“大项目”之路
• 为什么“大项目”是唯一的出路
  • 超级智能将成为美国最重要的国防项目
  • 超级智能的健全指挥链
    • 超级智能的民用化
  • 安全防御 (Security)
  • AI 安全 (Safety)
  • 稳定国际局势
• “大项目”是不可避免的，但它是否会带来好的结果，却远非注定
• 终局之战

---

“我们必然会很好奇地想要了解，像这样的一套庞大体系——数百座发电厂、数千枚炸弹、以及聚集在国家机构中的数万名人员——是如何一步步追溯回当初坐在实验室长椅上、讨论某种特定原子独特行为的寥寥数人的。”

—— Spencer R. Weart

如今人们提出了许多关于“AI 治理”的方案，从前沿 AI 系统的准入许可、安全标准，到为学术界提供价值数亿美元算力的公共云。这些方案看起来出发点都是好的——但在我看来，它们似乎犯了 范畴错误（category error）。

在我看来，美国政府会听任旧金山的某家初创公司独自开发出超级智能，这完全是一个 极其荒谬 的主张。试想一下，如果当年我们是通过让 Uber 这种公司自行发挥来研制原子弹，那会是怎样的一幕。

超级智能——即比人类 聪明得多 的 AI 系统——将拥有巨大的力量，从研发新型武器到推动经济增长的爆发式跃升。超级智能将成为国际竞争的焦点；哪怕仅仅几个月的领先优势，在军事冲突中也可能是决定性的。

那些不自觉地把我们对历史的短暂喘息当成了常态的人，不过是在心存幻想，超级智能必然会召唤出更为原始的力量。正如我们之前的许多科学家一样，旧金山的科技精英们希望自己能够控制他们亲手释放出的这个“恶魔”的命运。就在此时此刻，他们依然可以做到这一点；因为他们是少数拥有 情境感知（situational awareness）能力、明白自己正在建造什么的人。但在未来几年内，全世界都将清醒过来。国家安全机制也同样会清醒过来。历史将宣告其强势回归。

正如历史上多次上演的剧本那样（无论是面对新冠疫情还是二战），起初美国似乎在“打瞌睡”——但随后，政府会以最超乎寻常的方式突然开足马力运转起来。在短短几年内，随着模型能力和 AI 舆论再发生几次“2023 年级别”的飞跃，届时局势将变得昭然若揭：我们正处于 AGI 的门槛上，而超级智能紧随其后。尽管具体的运作机制仍有很大的不确定性，但无论如何，美国政府必将执掌大局；最顶尖的实验室将（“自愿地”）进行合并；国会将拨款数万亿美元用于芯片和能源的建设；一个由民主国家组成的联盟也将宣告成立。

初创公司在很多方面都表现出色——但一家初创公司单枪匹马，根本无法承担起美国最重要的国防项目。我们需要政府的深度介入，才有可能抵御我们即将面临的全方位间谍威胁；否则，私营机构的 AI 研发成果几乎等于直接送给中共。我们需要政府来确保一个最起码的健全指挥链；我们不可能让某个初创公司的 CEO（或某个非营利组织的董事会）去掌控相当于核按钮的超级智能控制权。我们需要政府来管理超级智能带来的严峻安全 (Safety) 挑战，以应对智能爆炸中极其混乱的“战争迷雾”。我们需要政府来部署超级智能，以抵御各种可能出现的极端威胁，度过接踵而至的极度动荡和不稳定的国际局势。我们需要政府来动员民主国家联盟，以在这场与威权主义国家的竞赛中获胜，并在全球范围内缔造（并强制执行）不扩散机制。我同样希望事实并非如此——但我们确实需要政府。（是的，无论届时是哪一届政府执政。）

无论如何，我的核心论点不是规范性的（应该如何），而是描述性的（事实将如何）。在几年内，“大项目”就将启动。

通往“大项目”之路

在我的记忆中，有一个永远无法磨灭的历史转折点，那是 2020 年的 2 月底到 3 月中旬。在 2 月的最后几周和 3 月的最初几天里，我陷入了彻底的绝望：情势已经非常明朗，我们正处于新冠疫情的指数级增长曲线上——一场瘟疫即将席卷全国，医疗系统的崩溃近在眼前——然而几乎没有人认真对待它。当时的纽约市长仍将对新冠的担忧斥为种族主义，并鼓励市民去看百老汇演出。当时的我能做的只有囤积口罩和做空市场。

然而，就在短短几周内，整个国家停摆，国会拨款数万亿美元（字面意义上超过了 GDP 的 10%）。提前预测指数级增长的走向确实极其困难，但当威胁足够逼近、甚至危及生存时，惊人的国家级动员力量就会被释放出来。虽然这种应对反应迟缓、粗糙且生硬——但它确实到来了，而且其动员规模极为庞大。

接下来的几年，AI 领域也将带给人们类似的感觉。我们现在正处于博弈的中盘。2023 年就已经发生了一次狂野的转变。AGI 从一个你甚至耻于与之产生关联的边缘话题，变成了参议院重要听证会和世界领袖峰会的核心议题。考虑到我们目前仍处于极早期阶段，美国政府的参与程度已经令我印象深刻。只要再发生几次“2023 年级别”的飞跃，奥弗顿之窗（Overton window）将被彻底冲开。

随着我们 跨越数量级（OOMs），AI 的飞跃仍将继续。到 2025/2026 年左右，我预计将出现下一次真正令人震撼的阶梯式转变；AI 将为巨头科技公司带来每年 超过 1000 亿美元 的营收，并在纯粹的问题解决能力上击败博士级人才。就像新冠引发的股市暴跌促使许多人开始严肃对待疫情一样，届时我们将见证市值达 10 万亿美元的企业诞生，AI 狂热将席卷每个角落。如果这还不够，到 2027/2028 年，我们将迎来在千亿美金级算力集群上训练出的模型；功能完备的 AI 智能体/直接替代人类的远程员工将开始广泛实现软件工程及其他认知类工作的自动化。每一年，这种加速度都会让人感到天旋地转。

虽然现在许多人仍然看不到实现 AGI 的可能性，但共识终将形成。当年的西拉德（Szilard）等人比其他人更早看到了制造出原子弹的可能。他们的警报最初并不受欢迎；制造核弹的可能性被斥为天方夜谭（或者至少，人们认为最保守且妥当的做法是淡化这种可能性）。西拉德热切的保密呼吁甚至遭到了嘲笑和无视。但是，随着越来越多的实验结果出炉，许多最初持怀疑态度的科学家也开始意识到制造核弹是完全可行的。一旦大多数科学家都确信我们处于研制核弹的边缘，政府就会随之将这一局势视为极其迫切的国家安全事务——于是，曼哈顿计划正式启航。

当 数量级的跃升（OOMs） 从理论上的外推演变为（惊人的）现实结果时，顶尖的科学家、企业高管以及政府官员之间也将逐渐凝聚共识：我们正处于门槛上，正处于 AGI 的门槛上，正处于智能爆炸的门槛上，正处于超级智能的门槛上。而在这一进程的某个节点，我们将目睹第一批真正令人毛骨悚然的 AI 演示：或许是人们经常讨论的“协助门外汉制造生物武器”，或者是自主黑入关键系统，又或者完全是其他形式的威胁。人们将彻底看清：无论喜不喜欢，这项技术都将成为 具有绝对决定性力量的军事技术。即使我们足够幸运没有陷入大规模战争，中共也极有可能已经意识到了这一点，并启动了极具威胁的 AGI 研发项目。届时，如果最终（且必然地）暴露出中共对美国核心 AI 实验室的渗透，将会引起巨大的轰动。

大约在 2026/2027 年前后的某个时刻，华盛顿的氛围将变得异常凝重。人们将开始切身体会到正在发生的一切；他们会感到 害怕。从五角大楼的走廊到国会的非公开吹风会，都会回响着一个显而易见、每个人心中都在思考的问题：我们是否需要一个 AGI 的曼哈顿计划？起初是缓慢的，随后是突然的，人们会彻底看清：这一切正在发生，局势将变得 极其狂烈，这是自原子弹发明以来，美国国家安全所面临的最重大的挑战。国家安全力量将以某种形式深度介入。而“大项目”将成为唯一的、也是必须作出的回应。

当然，这只是一个极度简化和浓缩的叙述——很大程度上取决于共识何时以及如何形成、关键的警示事件等。华盛顿的低效是出了名的。正如在新冠疫情和当年曼哈顿计划中的表现一样，政府的行动注定会极其迟缓且笨拙。在 1939 年爱因斯坦给总统写信（由西拉德起草）之后，虽然成立了一个铀顾问委员会，但在早期，由于官员的平庸，几乎没有任何实质性进展。例如，费米当时仅仅获得了 6000 美元（约合今天的 13.5 万美元）的经费来支持他的研究，而且即便这笔钱也是在等待数月后才勉强批下来的。西拉德甚至认为，由于当局的目光短浅和行动拖沓，整个核计划 被延误了至少一年。直到 1941 年 3 月，英国政府终于得出结论，认为制造原子弹是不可避免的。而美国的铀委员会起初甚至将这份英国的报告完全束之高阁达数月之久——直到 1941 年 12 月，全面的原子弹研制工作才真正轰轰烈烈地展开。

在实践中，有许多方式可以推行这一计划。需要明确的是，这并不一定意味着字面意义上的“收归国有”——例如把 AI 实验室的研究人员直接变成军方的雇员等（尽管这种情况也有可能发生！）。¹ 相反，我预计会采取一种更加委婉和成熟的合作机制。它与国防部（DoD）的关系可能类似于国防部与波音或洛克希德·马丁公司的合作模式。也许会通过国防采购或类似合同，在各大云算力服务商、AI 实验室和政府之间建立一个合资体，使其在实质上成为国家安全体制下的一个项目。就像 AI 实验室在 2023 年“自愿”向白宫做出承诺一样，西方各大实验室可能会或多或少地“自愿”同意合并为国家项目。而且，考虑到涉及数万亿美元的巨额投资以及制衡机制的需要，国会必然需要深度参与。² 这些细节究竟会如何演变，那就是另一个故事了。

但到了 2026/2027/2028 年底，这一项目必将全面铺开。核心的 AGI 研发团队（大约几百名科研人员）将迁往高度安全的地点；万亿美金级别的算力集群将以破纪录的速度拔地而起；“大项目”就此全面开启。

为什么“大项目”是唯一的出路

我对政府的局限性不抱任何幻想。政府面临着各种局限和不良激励。我是美国私营经济的坚定拥护者，几乎从不主张政府对技术或产业进行重度干预。

在加入前沿 AI 实验室之前，我也一直用这套逻辑来看待 AGI。AI 实验室在某些方面确实非常优秀：他们能够将 AI 从一个学术科研项目推向庞大的商业舞台，这是只有创业公司才能拥有的敏捷度。但归根结底，AI 实验室依然是初创企业。我们根本无法指望初创公司能够独自应对和掌控超级智能的降临。

在这件事上这里没有好的选项——但我看不到其他出路。当一项技术对国家安全变得如此生死攸关时，我们必须依靠美国政府。

超级智能将成为美国最重要的国防项目

我在此前的文章中已经讨论过 超级智能的巨大威力。在几年内，超级智能就将彻底 颠覆军事力量的平衡。到 2030 年代初期，美国的整套军事武库（不管你喜不喜欢，这都是全球和平与安全的基石）可能都将彻底过时。这不仅仅是一个装备现代化的升级问题，而是一个底层的彻底推倒重来。

简而言之，人们将逐渐看清，AGI 的发展更接近于核武器，而不是互联网。是的，它当然具有双重用途（民用和军用）——但当年的核技术同样具有双重用途。民用化会有其发光发热的时候，但在这场 AGI 终局的战争迷雾中，无论我们愿不愿意，国家安全都将是压倒一切的核心背景。

在瞬息万变的技术大变局面前，我们必须在几年内彻底重塑美军力量——否则就将面临被采取此行动的竞争对手彻底压制的风险。也许最紧迫的优先事项是，将超级智能部署于防御性应用，以开发出应对各种未知新威胁的防御手段：这包括拥有超人般黑客能力的竞争对手、能够对我方核威慑力量执行先发制人打击的新型隐身无人机群、可被武器化的合成生物学技术的泛滥、动荡激烈的国际（及国内）权力斗争，以及野蛮生长的失控超级智能项目。

无论在名义上是否归属于私营部门，AGI 项目都必须——且注定将——整体成为一个国防项目，它必须与国家安全机构进行极度紧密的合作。

超级智能的健全指挥链

超级智能的力量以及它带来的挑战，与我们过去从科技公司身上看到的任何事物都完全不在同一个量级。显而易见的是：这项技术决不能由某个初创公司的 CEO 独自掌控。事实上，在由私营实验室主导研发超级智能的架构下，某些 CEO 极有可能 拥有足以直接颠覆美国政府的力量。³ 试想一下，如果埃隆·马斯克（Elon Musk）拥有核武库的终极指挥权会发生什么。⁴（或者，如果某个随意的非营利组织董事会能够决定去夺取核武库的控制权会怎样。）

这或许是不言自明的：作为一个社会，我们早已达成共识，必须由民主政府来掌控军队与武力；⁵ 而超级智能至少在初期将是人类最强大的军事武器。因此，由政府主导的“大项目”根本不是什么激进的提议；真正激进且危险的提议，是去赌那些私营 AI 公司的 CEO 会高尚地挥舞着等同于全军的武力，并成为仁慈的独裁者。

（实际上，在私营 AI 实验室的主导下，情况甚至可能会比让某个 CEO 掌握核按钮更糟——AI 实验室极度糟糕的安全防御体系，部分就体现在它们几乎完全没有任何内部控制与审查。这意味着，某个普通的实验室员工（甚至不需要经过任何背景审查）就可能在无人察觉的情况下擅自乱来。）

我们需要建立一条健全的指挥链——以及所有其他旨在确保安全、负责任地使用这一堪比大规模杀伤性武器（WMD）的防范流程与保护屏障——而这必须由政府出面来执行。从某种意义上说，这完全是一个经典的伯克式（Burkean）保守主义论点：用来约束政府权力的各种制度、宪法、法律、法庭、权力制衡、社会规范，以及对自由民主秩序的共同坚守（例如，军方将领会拒绝执行非法的命令）等等，都经历了数百年历史的锤炼和考验。相比之下，AI 实验室设立的那些特殊的内部治理架构，在面临第一次真正考验时就直接土崩瓦解了。如果美军愿意，它原本可以轻易抹杀美国境内的所有平民，或者直接夺取政权——而我们限制政府对核武器掌控权的方式，绝对不是去纵容一大批私营公司各自拥有自己的核武库。只有这一条指挥链和这一套现存的制度，被历史证明有能力承担这一重任。

当然，也许你是一位纯粹的自由意志主义者，在规范上并不赞同这一点（认为应该让马斯克和奥特曼各自指挥他们的核武库！）。⁶ 但一旦超级智能被明确为核心的国家安全问题，我相信华盛顿的决策者们绝对会采取我所说的方式来看待它。

超级智能的民用化

当然，这并不意味着超级智能的民用应用也将由政府所独占。

• 核链式反应最初也是作为政府项目被开发出来的——而核武器则永远专属政府——但民用核能依然在私营项目的运作下蓬勃发展（在 20 世纪 60 年代和 70 年代，直至后来环保主义者将其扼杀）。

• 波音公司当年与军方合作研发了 B-29（二战期间最昂贵的国防研发项目，其研发费用甚至超过了曼哈顿计划）、B-47 和 B-52 远程轰炸机——之后将其技术积累应用于波音 707 客机，从而开启了商业喷气式飞机的黄金时代。时至今日，波音虽然只能将隐身战斗机卖给政府，但它依然可以完全自由地以私营模式研发并向市场销售民用客机。

• 雷达、卫星、火箭、基因技术、二战工厂等领域的发展，莫不遵循这一规律。

超级智能的早期研发，必然会被在极其动荡时期求生存并稳定局势的国家安全迫切需求所主导。超级智能的军事用途也将继续由政府专有，并且各种安全规范将被强制执行。但一旦初期的危机消退，世界局势趋于稳定，顺理成章的路径就是让参与国家联合体企业（以及其他机构）开始自主探索和推广各种民用商业应用。

即使在开启了“大项目”的世界里，一个充满活力的、私营的、多元的、市场驱动的超级智能民用生态系统，也终将迎来它的繁荣期。

安全防御 (Security)

我在此前的 专题文章 中已就此进行了详细阐述。按照目前的发展路径，我们大可以提前宣告美国 AGI 努力的失败；因为中国可以轻而易举地直接窃取所有的算法突破和模型权重（这字面意思上等于直接拿走了一份超级智能的完整备份）。按照目前的演进方式，我们甚至不指望能为超级智能建立起足以防范北韩的安全屏障。在由私营初创公司研发 AGI 的模式下，超级智能的技术必然会扩散到数十个流氓国家手中。这在安全上是绝对无法接受的。

如果我们打算严肃对待这个问题，显然必须将核心技术和设施彻底锁死。大多数私营公司在安全防范上都未能给予足够的重视。但在任何情况下，如果我们未来必须面对中国国家级间谍力量的全力渗透（例如，窃取模型权重已成为国安部的首要任务），私营公司仅凭自身力量是绝不可能构建起足够级别的防线的。届时，必须由美国情报界提供极其广泛的协作，才能真正确保 AGI 的安全。这将涉及对 AI 实验室以及核心 AGI 科研团队施加极具穿透性的监管限制——从极其严苛的背景审查、全天候监控、在敏感信息隔离设施（SCIF）内办公，到限制离境和离职的自由；而且这需要唯有政府才能构建的基础设施，最终将包含对 AGI 数据中心本身的物理防卫。

从某种意义上说，单单是安全防御的迫切需求，就足以确立开启政府项目的必要性——如果我们无法把技术彻底锁死，那么自由世界的领先优势和 AI 安全都将无从谈起。（事实上，我认为这极有可能是触发政府接管的核心导火索：一旦暴露出中国渗透前沿 AGI 实验室的铁证，每一位参议员、众议员以及国家安全官员，都必将在这一问题上……发表极度强硬的意见。）

AI 安全 (Safety)

简单来说，我们在前行路上有太多把事情搞砸的方式——从如何确保能够可靠地控制并信任即将接管我们经济和军事体系的数以十亿计的超级智能体（即 超级对齐问题），到控制 新型大规模杀伤性武器 被滥用的风险。

一些 AI 实验室声称自己致力于安全性：他们坦承自己正在研制的东西一旦失控可能会带来毁灭性的灾难，并承诺在关键时刻会采取一切必要措施。但我不知道，我们是否真的能如此轻信他们的口头承诺，并把每一个美国人的生命都押在上面。更重要的是，到目前为止，在面对连他们自己都承认具有巨大风险的技术时，他们并未展现出与之相匹配的能力、可靠性或严肃态度。

在本质上，他们依然是受商业利益驱使的初创企业。激烈的竞争可能会迫使所有人都身不由己地在这场智能爆炸中狂飙突进，而且在此过程中，必定会有一些玩家为求胜而选择彻底无视安全性。尤其是，我们届时可能需要“牺牲一部分领先时间”来换取解决安全对齐挑战的时间窗口，而这需要西方各大实验室的深度协同。（况且，况且私营实验室的 AGI 权重到那时早已被窃取，那它们自身的安全防护措施就完全失去了意义，我们将不得不仰仗中共和北韩的安全措施。）

一种解决方案是推行行业监管。在 AI 发展较慢的平行世界中，这或许是适用的，但我担心传统的官僚监管手段根本无法应对智能爆炸式跃升所带来的史无前例的挑战。届时我们所要面对的局面，绝对不是花上几年时间去做一些谨慎的评估、然后通过庞大的官僚体制出台几项安全标准那么简单。

这更像是在打一场战争。

我们将面临极其疯狂的一年，局势每周都在发生剧烈变化，在模糊不清的数据面前做出的艰难决策都将关乎生死。所有的解决方案——甚至连问题本身——都无法提前被完全摸透，而一切都将取决于在“战争迷雾”中的应对水平。这将涉及各种极其残酷的权衡决策，例如：“我们的一部分对齐指标看起来有些模棱两可，我们已经完全搞不懂底层的运行机制了。可能并无大碍，但有迹象警示下一代超级智能有失控的苗头。我们是否应该将下一次训练延期 3 个月以换取对安全的更高把握？但糟糕的是，最新的情报显示中国已经窃取了我们的权重，并且正在他们自己的智能爆炸道路上全力加速。我们究竟该如何抉择？”

我同样不敢打包票说政府项目一定有能力完美处理这些棘手的情况——但相比之下，放手让“初创公司来研制超级智能”的替代方案，其实际效果无异于“听天由命”，这其中的风险远比大众普遍意识到的要高。我们必须建立一条健全的指挥链，以便在做出这些困难的生死权衡时，展现出应有的极端严肃态度。

稳定国际局势

智能爆炸及其爆发后的最初阶段，将使人类面临有史以来最动荡、最紧张的局势之一。我们这一代人还从未经历过这种阵仗。但在早期的这一阶段，首要任务绝不是去开发一些炫酷的应用产品，而是要不惜一切代价，在这个疯狂的浪潮中幸存下来。

我们需要政府主导的“大项目”来赢得与威权主义国家的竞赛——并为我们赢得绝对的领先优势和必不可少的技术喘息空间，以应对这期间的重重险境。如果我们连防止超级智能模型权重被瞬间窃取都做不到，那我们干脆直接认输。我们必须将整个西方世界的努力整合起来：汇聚最顶尖的科学家，搜集我们所能找到的每一颗 GPU，并确保数万亿美元的算力集群建设落户于美国本土。我们还需要为这些数据中心提供绝对的安全防卫，以防范竞争对手的暗中破坏或直接的军事袭击。

也许最关键的是，需要由美国主导建立——并在必要时强行实施——一套技术不扩散机制。我们必须阻止俄罗斯、北韩、伊朗以及恐怖组织利用他们自己的超级智能研发出足以劫持全世界为质的技术与致命武器。我们需要利用超级智能来加固我们关键基础设施、军事防线和政府系统的安全壁垒，以抵御各种极其恐怖的新型黑客攻击。我们需要利用超级智能来维持生物学等前沿领域技术扩散的攻防平衡。我们必须开发出能够安全管控超级智能的工具，并有能力强行关停其他由于不够谨慎的开发项目所催生出的失控超级智能。届时，AI 系统和机器人的运行速度将是人类的 10 到 100 倍以上；所有事物的演进都将变得极其迅速。我们必须做好充分的准备，以应对将一个世纪的技术进步压缩在短短几年内所必然爆发的各种极端概率（六西格玛级别）大动荡以及随之而来的严重威胁。

至少在初期的这一段岁月里，我们将面临最超乎寻常的国家安全紧急状态。也许，人类社会中没有任何一个机构能完美胜任这一重任。但在我们面前的所有选项中，“大项目”是唯一明智的选择。

“大项目”是不可避免的，但它是否会带来好的结果，却远非注定

归根结底，我在这里的核心论点是描述性的：无论我们喜不喜欢，超级智能的研发形态绝不会是一家旧金山的初创公司，它在某种程度上必将主要归属于国家安全的管辖范畴。在过去一年里，我经常跟旧金山的朋友们提起“大项目”的概念。最让我感到吃惊的是，大多数人听到这个想法时竟然表现得如此惊讶。他们此前完全没有思考过这种可能性。但一旦他们开始认真审视这一点，绝大多数人都会同意这是显而易见。如果我们对自己正在建造的东西的判断有半分正确，那么在最后阶段，这 理所当然 会（以某种形式）成为一个政府主导的项目。如果某家实验室明天就开发出了真正的超级智能，联邦政府 理所当然 会直接介入接管。

这其中一个关键的开放变量不在于“是否会启动”，而是在于“何时启动”。政府是要等到我们已经深处智能爆炸的狂潮中才猛然醒悟，还是能提前几年敏锐地意识到这一趋势？既然政府主导项目是命中注定的，那么越早启动显然越好。我们迫切需要这宝贵的几年准备时间来实施安保紧急攻关计划、让核心官员迅速熟悉业务并做好应对准备、建立起运转良好的合并实验室等等。如果政府拖到最后一刻才被迫强行介入（届时所有的技术机密和模型权重恐怕早已流失殆尽），那整个局面将会陷入无法收拾的混乱。

另一个重要的开放变量是我们能够动员和集结怎样的国际联盟：这既包括一个由民主国家组成、共同研发超级智能的更为紧密的同盟，也包括向世界上其他国家提出的更为广泛的技术红利共享倡议。

• 前者可能类似于经典的 《魁北克协定》：当年丘吉尔与罗斯福达成的秘密协定，旨在集中两国的资源共同研发核武器，同时承诺互不使用核武器，且未经双方同意不得对第三方使用。我们将需要把英国（Deepmind 的所在地）、东亚盟友如日本和韩国（芯片半导体供应链的核心）、以及北约及其他核心民主盟友（更广泛的工业制造基础）全部拉进这一联盟体系。一个联合起来的共同项目将集结更丰富的资源、最顶尖的人才，并牢牢掌控整条技术供应链；它将促成在安全性、国家安全以及军事挑战上的极度紧密协同，并为如何合理行使超级智能的权力提供非常有益的跨国监督与平衡。

• 后者则可能效仿当年的 “原子用于和平”计划（Atoms for Peace）、 国际原子能机构（IAEA） 以及 《不扩散核武器条约》（NPT）。我们应当向更广泛的国家（包括非民主国家）承诺共享超级智能在民用和平领域的科技成果，并承诺绝不对其发动侵略性的超级智能攻击。作为交换，这些国家必须承诺放弃研发本国的超级智能项目、并对 AI 系统的部署作出安全承诺，并接受对两用技术应用的限制。我们希望这一倡议能够有效削弱各国开展 AI 军备竞赛和技术扩散的动机，从而将广泛的全球力量凝聚在由美国主导的、后超级智能时代的世界秩序框架之下。

也许，最根本的开放变量依然在于，这个注定会开启的政府项目本身是否具有足够高效的执行力。它将如何组织架构？我们该如何高效落地这一宏伟蓝图？权力制衡机制将如何运转？一条健全的指挥链究竟应该如何设计？目前几乎没有人把心智和注意力放在研究这些核心问题上。⁷ 几乎所有其他的 AI 实验室权斗和 AI 治理政策的口水战，都不过是些微不足道的边缘杂耍。如何设计和运行“大项目”，这才是真正的决胜局所在。

终局之战

就这样，到 2027/2028 年，终局之战将拉开帷幕。到 2028/2029 年，智能爆炸的巨浪将铺天盖地席卷而来；到 2030 年，我们将彻底唤醒超级智能，迎接它所带来的颠覆一切的力量。

奥本海默（Oppenheimer）与格罗夫斯（Groves）将军。

无论他们最终任命谁来执掌“大项目”，那人都将面临一项极其艰巨、近乎疯狂的任务：不仅要研制出 AGI，而且要以最快的速度研制出来；要将整个美国经济推向战时轨道，以生产数以亿计的 GPU；要彻底封锁技术防线、清除内部间谍，并抵御中共全方位的渗透与网络攻击；要驾驭并引导上亿个狂热推进 AI 自我迭代的 AGI 智能体，将原本需要十年的技术跨越压缩在一年内完成，并在极短时间内制造出比最聪明的人类还要 聪明得多 的 AI 系统；要竭尽全力稳定住大局，确保系统不会脱缰失控、演化出试图从人类监管者手中夺取控制权的失控超级智能；要利用这些超级智能研发出稳住攻防天平、保持对竞争对手绝对领先所必需的所有未知前沿技术，并在极短时间内完成美军武装力量的重塑与整合；而在这所有的一切之上，还要小心翼翼地驾驭着人类有史以来最剑拔弩张的国际地缘政治局势。我只能说，这个负责人最好是绝顶天才。

对于我们这些被征召入局、共同踏上这趟旅程的人来说，这段岁月注定会……充满窒息般的压力。但这将是我们的职责，为服务自由世界——乃至全人类贡献力量。如果我们能够安然度过并有幸在多年后回首这段岁月，这必将是我们一生中所能成就的最重要的事情。而且，虽然他们最终找好的机密基地的物质条件，可能根本无法与今天旧金山 AI 科研人员那极其奢华、待遇优厚的生活水平相提并论，但情况也绝对不会太差。如今的旧金山其实已经给人一种独特的“AI 研究者大学城”的观感；届时的机密基地大概也相差无几。依然是那群小得离奇的圈子，白天盯着规模缩放曲线焦虑不已，周末聚在一起喝酒聊天，就着 AGI 的技术瓶颈以及当天实验室的各种政治八卦评头论足。

唯一的区别只在于，这一次，赌注将真实得令人窒息。

朋友们，沙漠中见。

系列专栏终章：V. 结语与临别思考 (Parting Thoughts)

在芝加哥大学举行的人类首次受控核裂变反应四周年纪念日上，核科学家们重聚合影。

---

Footnotes

1. 请注意，虽然私营公司可以协助开发核武器的各种零部件，但它们绝不被允许拥有组装完毕的完整核武器。相比之下，我在本文中所提出的“AGI 政府主导项目”主流方案，在类似的大规模杀伤性武器（WMD）参照系中，其私营化和民营化参与程度已经是前所未有的高了。 ↩

2. 历史上，国会——甚至当时的副总统！——在早期都对曼哈顿计划一无所知。我们在这件事上绝不能重蹈覆辙；我甚至建议“大项目”的关键官员任命应当获得参议院的投票确认。 ↩

3. 到了这一阶段，项目甚至可能都不再需要 AI 实验室员工的积极协同了，因为大部分软件工程和科研开发工作届时早已被自动化的智能体所取代。 ↩

4. 正如山姆·奥特曼（Sam Altman）曾说过的，我们距离 AGI 每靠近一年，每个人的疯狂值就将增加 10 点。 ↩

5. 事实上，让政府拥有“最强大的武力”是人类 文明史上的一项伟大成就！这使得我们可以通过法庭、多元化的社会机制等来解决争端，而不是陷入中世纪式的所有人对所有人的乱战。 ↩

6. 或者你可能会说，那就把一切技术都彻底开源。但把一切完全开源的问题在于，这带给我们的绝对不是一个在美国本土“百花齐放”的美好未来，而是让中共能够毫无门槛地直接获取美国研发的超级智能模型，进而凭借其强大的工业制造力（而且几乎不考虑安全防范和行业监管）超速建设并统治世界。另一个显而易见的问题，则是会导致堪比大规模杀伤性武器的超级智能技术扩散到全球每一个流氓国家和恐怖组织手中。我认为这种演变的结局会非常凄惨。这有点像如果没有政府存在，最终导致的一定是暴政（或毁灭）而不是自由。

   无论如何，随着我们离 AGI 越来越近，人们显然高估了开源的战略意义。考虑到算力集群的建设成本正在飙升到数千亿美元，而且核心算法机密如今早已被各家闭源保护起来、不再像几年前那样公开发表，未来的 AGI 研制者注定会是 2 到 3 家超级巨头，而不是某种由去中心化开发者组成的快乐开源社区。

   我确实认为，另一种形式的开源依然会扮演极其重要的角色：即比前沿闭源模型落后几年的模型会选择开源，从而让该技术的红利能够在全社会实现广泛的普及。 ↩

7. 给致力于“进步研究”（Progress Studies）同仁的一点思考：你们应当认真想想这个问题，这将是你们这一学术项目的终极高光时刻！你们花费了无数心血来研究美国政府研究机构在过去半个世纪里的衰落，以及如何能让它们重新恢复高效运转。那么现在请告诉我：我们该如何确保这个“大项目”高效且成功？ ↩