情境感知:IIId. 自由世界必须胜利 (The Free World Must Prevail)
《情境感知》IIId:超级智能将带来决定性的军事优势,而中国远未出局——7nm 够用、基建碾压、算法可窃取。只有民主阵营保持健康的领先优势,才有安全渡过智能爆炸的容错空间,也才有可能建立防止自我毁灭的防扩散机制。
本文译自前 OpenAI 超级对齐团队研究员 Leopold Aschenbrenner 于 2024 年 6 月发表的警世长文Situational Awareness(情境感知)系列第三章第四部分(IIId),也是第三章的终章。
- 栏目/系列:Situational Awareness: How Close Are We to AGI?
- 作者:利奥波德·阿申布伦纳 (Leopold Aschenbrenner) —— 前 OpenAI 安全研究员、现 AI 投资人
- 发表时间:2024 年 6 月 4 日
▍关于本篇 承接 IIIa(算力竞赛)、IIIb(实验室安全)、IIIc(超级对齐),本篇把视角从技术拉回地缘政治:超级智能不是又一项普通技术,而是自核武器以来最根本的军事力量变量。作者的核心论点是——中国远未出局(7nm 芯片够用、基建能力碾压、算法可窃取);民主阵营的"健康领先"既是军事必需,更是安全必需(领先 2 年与领先 2 个月,决定人类有没有容错空间把对齐做对);因此超级智能必须被当作国家安全问题来对待。本篇与随后的第四章《The Project》(曼哈顿计划式的国家工程)共同构成全书最具争议、也最具影响力的政治主张。
超级智能将带来决定性的经济和军事优势。中国还远没有出局。在 AGI 竞赛中,自由世界的生死存亡将悬于一线。我们能否保持对威权力量的领先?又能否在此过程中避免自我毁灭?
在本篇中:
人类的历史就是战争。除了短暂而脆弱的间歇,世界上从未有过和平;在有史之前,血腥的厮杀更是普遍而无休无止。……会不会有那么一种炸弹,体积不过一个橙子大小,却蕴藏着摧毁整个街区的神秘力量——不,是把一千吨无烟火药的威力浓缩于一处,一击之下将一座城镇炸成齑粉?
—— 温斯顿·丘吉尔 (Winston Churchill),《我们都要自杀吗?》(Shall We All Commit Suicide?)
超级智能将是人类有史以来开发出的最强大技术——也是最强大的武器。它将带来决定性的军事优势,也许只有核武器堪与相比。威权者可以用超级智能征服世界,并在国内实施全面的控制。流氓国家可以用它威胁毁灭他人。而尽管许多人认定中国已经出局,一旦中共意识到 AGI 的意义,它就有一条清晰的路径可以参与竞争(除非我们大幅改善美国 AI 实验室的安全,否则这条路径始终成立)。
每一个月的领先对安全也至关重要。如果我们被锁死在一场并驾齐驱的竞赛里,风险才是最大的:民主盟友与威权竞争者各自以极快的速度冲过本已凶险万分的智能爆炸——因为恐惧对方先得到超级智能,而被迫把一切谨慎抛诸脑后。只有保持民主盟友的健康领先,我们才有容错空间,去驾驭超级智能降临前后那段极度动荡而危险的时期。也只有美国的领导地位,才是建立一个防扩散机制、避免超级智能所展开的自我毁灭风险的现实路径。
我们这一代人太轻易地把生活在和平与自由中视为理所当然。而旧金山那些迎接 AGI 时代的人,也太经常无视房间里的大象:超级智能是国家安全问题,而美国必须赢。
谁在超级智能上领先,谁就拥有决定性的军事优势
超级智能不是又一项普通技术——高超音速导弹、隐身技术之类——在那些技术上,美国和自由民主国家保持领先固然非常可取,但并非绝对必要。美国在一两项这类技术上落后,军事力量平衡仍可维持;这些技术固然重要,但可以被其他领域的优势所抵消。
超级智能的降临,将把我们带入一个自原子时代开启以来从未见过的局面:拥有它的人,将对没有它的人形成完全的支配。
我之前讨论过 超级智能的巨大力量。它意味着拥有数以十亿计的自动化科学家、工程师和技术员,每一个都比最聪明的人类科学家更聪明,夜以继日地疯狂发明新技术。科学和技术发展的加速将是非凡的。当超级智能被应用于军事技术研发,我们可能会快速走完数十年的军事技术进步。
海湾战争:数十年的技术领先对军事力量意味着什么
海湾战争很好地说明了:20 到 30 年的军事技术领先可以是决定性的。当时,伊拉克拥有世界第四大陆军。就 数量(部队、坦克、火炮)而言,美国领导的联军仅仅与伊拉克军队持平(甚至处于劣势),而伊拉克人还有充足的时间深挖防御工事(按通常的军事常识,要撼动这样的防御需要 3:1 乃至 5:1 的兵力优势)。
但美国领导的联军在仅仅 100 小时的地面战争中 全歼 了伊拉克军队。联军阵亡仅 292 人,而伊拉克军队阵亡 2 万至 5 万人,另有数十万人受伤或被俘。联军仅损失 31 辆坦克,而伊拉克被摧毁的坦克超过 3000 辆。
技术差距并非神乎其神、深不可测,但它完完全全地具有决定性:制导与智能弹药、早期版本的隐身技术、更好的传感器、更好的坦克瞄准镜(能在夜间和沙尘暴中看得更远)、更好的战斗机、侦察优势,等等。
(再举个更近的例子:回想伊朗向以色列发动的 300 枚导弹的大规模袭击,其中“99%”被以色列、美国及盟友更优越的导弹防御系统拦截。)
在超级智能上领先一年、两年或三年,可能意味着 完全决定性 的军事优势,正如海湾战争中美国联军对伊拉克的优势一样。军事力量平衡的彻底重塑,将系于此一役。
想象一下,假如我们在不到十年里走完 20 世纪的全部军事技术演进。我们会在几年内从战马、步枪和堑壕,跨越到现代化的坦克集团军;再过几年,跨越到超音速战斗机机群、核武器和洲际导弹;又过几年,跨越到能在敌人察觉你存在之前就将其歼灭的隐身与精确打击能力。
这就是超级智能降临时我们将面对的局面:一个世纪的军事技术进步被压缩到十年以内。我们将看到能瘫痪对手大半军事力量的超人级黑客攻击、机器人军队和自主无人机蜂群,但更重要的是我们此刻根本无法开始想象的全新范式,以及毁灭力提升千倍的新型大规模杀伤性武器(还有新型大规模杀伤性武器防御手段,比如无懈可击的导弹防御,它们会迅速而反复地颠覆威慑均衡)。
而且这不仅仅是技术进步。随着我们解决 机器人技术,劳动将实现完全自动化,还会带来更广泛的工业与 经济爆炸。增长率完全可能达到每年百分之几十;最多十年之内,领先者的 GDP 将把落后者远远甩在身后。飞速倍增的机器人工厂不仅意味着巨大的技术优势,还意味着在纯粹物资产能上的支配地位。想象一下:数百万枚导弹拦截弹;数十亿架无人机;等等。
当然,我们不知道科学的极限,也不知道有多少摩擦会拖慢进程。但要取得决定性的军事优势,并不需要神一般的突破。十亿个超级智能科学家将能做到 太多太多。似乎很清楚:不出数年,超级智能之前的军队将被远远甩开、落于绝对下风。
“军事革命”(Revolution in Military Affairs,RMA)是军事学术语,指技术、作战理念与组织形态的协同跃迁系统性地改变战争形态。1991 年海湾战争被视为“侦察-打击革命” 的首次公开亮相:精确制导弹药、卫星侦察、隐身平台与数据链相结合,使“发现即摧毁”成为现实——传统兵力数量第一次如此彻底地失去意义。苏联总参谋部曾组织专门研究这场战争并大受震动,俄中两国此后三十年的军队信息化改革都以此为参照。作者的类比由此而来:如果超级智能能把一个世纪的军事演进压缩进十年,其效果将不是一次军事革命,而是连续多次军事革命的叠加。
即便面对核威慑,军事优势也将是决定性的
再说得更明白一点:超级智能所赋予的优势,似乎很可能大到足以先发制人地摧毁对手的核威慑力量。改进的传感器网络和分析能力,可以定位哪怕最安静的现役核潜艇(机动导弹发射车同理)。数以百万、十亿计的老鼠大小的自主无人机,配合隐身技术的进步,可以渗透到敌后,然后神不知鬼不觉地定位、破坏并斩首对手的核力量。改进的传感器、瞄准能力等等,可以大幅提升导弹防御水平(类似上面伊朗对以色列的例子);而且,如果发生工业爆炸,机器人工厂可以为对方的每一枚导弹生产出数以千计的拦截弹。这一切甚至还没有考虑全新的科学和技术范式(比如 远程瘫痪 所有的核武器)。
那将根本不是一场对等的较量。不仅是核意义上的“我们可以互相毁灭”那种不对等,而是能够在自身不受重大伤亡的情况下摧毁对手军事力量的那种不对等。在超级智能上领先几年,就意味着完全的支配。
如果出现快速的 智能爆炸,仅仅 几个月 的领先都可能是决定性的:几个月,就可能是大致人类水平的 AI 系统与实质超人 AI 系统之间的差别。也许仅仅拥有最初的那批超级智能——甚至在它们被广泛部署之前——就足以构成决定性优势,比如:能够瘫痪前超级智能时代军队的超人级黑客能力;规模较小、但足以威胁对方每一位领导人、官员及其家人即时死亡的无人机蜂群;以及用 AlphaFold 式模拟开发的、可以针对特定族群的先进生物武器,比如针对汉族以外的任何人(或者干脆只把解药留给自己,不给对手)。
作者设想超级智能可以定位所有核潜艇、渗透并瘫痪对手核力量,这一图景有几处值得怀疑。其一,核三位一体(陆基导弹、战略核潜艇、轰炸机)本身就是为“承受第一次打击后仍能报复”而设计的冗余体系,六十余年的演进始终在对抗“被解除武装”这一场景。其二,试图摧毁对手核威慑本身就是最高级别的升级信号:对手在预警压力下可能转向“预警即发射”,反而大幅提高核战争概率——定位对手核潜艇的能力越强,危机中的稳定性可能越差。其三,历史上“技术代差带来绝对安全”的预测记录不佳:从 U-2 侦察机的“不可击落”神话到导弹防御的实战拦截率,攻防对抗总会演化出廉价反制。超级智能或许能改变威慑的参数,但未必能取消威慑本身。
中国可以具有竞争力
许多人似乎对中国和 AGI 的问题感到高枕无忧。芯片出口管制已经把他们废掉了,而领先的 AI 实验室都在美国和英国——所以我们没什么可担心的,对吧?中国的大模型 还行——他们绝对有能力训练大模型!——但充其量只能和美国第二梯队的实验室相提并论。1 而且中国的模型往往只是美国开源发布的仿品(例如,Yi-34B 的架构 似乎本质上就是 Llama2 的架构,只 改了几行代码)。2 中国的深度学习 曾经 比今天更重要(例如 百度发表过 最早的现代扩展定律论文之一),虽然中国 发表的 AI 论文 比美国多,但近年来的关键突破似乎没有一个是由他们推动的。
然而,这些都只是前奏。如果中共意识到 AGI 的意义,我们应该预期中共会为竞争付出非凡的努力。而且我认为,中国有一条相当清晰的入局路径:在基建上超过美国,在算法上窃取美国。
1. 算力
1a. 芯片: 中国现在似乎已经展示了 制造 7nm 芯片 的能力。虽然超越 7nm 会很困难(需要 EUV 光刻机),但 7nm 已经够用了!作为参照,英伟达 A100 用的就是 7nm。基于中芯国际 7nm 平台的国产华为昇腾 910B,在性能/美元上似乎只比同档英伟达芯片差 ~2-3 倍。3
中芯国际 7nm 量产的 良率、以及中国在这方面的整体成熟度,都存在争议,4 而一个关键的悬而未决的问题是:他们能以多大的数量生产这些 7nm 芯片。5 不过,看起来至少有相当合理的可能性:他们能在几年内实现大规模量产。
AI 芯片的大部分收益来自针对 AI 应用场景改进的芯片设计(而中国很可能已经在从台湾供应链窃取英伟达的芯片设计)。6 7nm 对 3nm 或 2nm 的差距,加上晶圆厂整体的不成熟,或许会让中国的成本更高。7 但这绝非致命;在 7nm 制程之上完全可以做出非常优秀的 AI 芯片。比如,到这个时候,我已经没有很高的把握说:他们不能只是多花点钱,在几年内为千亿美元级乃至万亿美元级的训练集群获得充足的算力。8
文中所说的“芯片出口管制”,核心是美国商务部工业与安全局(BIS)2022 年 10 月 7 日发布的规则:以总算力性能与互连带宽为阈值,禁止英伟达 A100/H100 级芯片对华出口,并同步限制先进制程设备与“美国人”参与中国先进晶圆厂。两个机制值得了解:外国直接产品规则 (FDPR)把管辖延伸到“使用美国技术或软件生产的外国产品”,使台积电等非美厂商也被覆盖;盟友协同 则体现为荷兰自 2019 年起拒发 ASML 的 EUV 光刻机对华出口许可,2024 年起部分先进 DUV 机型亦被纳入。英伟达曾推出降规版 A800/H800 合规对华销售,2023 年 10 月规则升级后也被封堵——这正是文中“受限前囤积芯片”一说的由来。
1b. 在基建上超过美国: 最大训练集群的约束瓶颈不会是芯片,而是工业动员能力——也许最突出的是 万亿级美元集群所需的 100GW 电力。但如果说中国有一件事比美国强,那就是 搞建设。
过去十年,中国新建的发电装机容量大致相当于 整个美国的装机容量(而美国的发电装机容量基本持平)。在美国,这类项目要先卡在环境评估、许可审批和监管流程里十年。因此,看起来相当有可能的是:中国能够在最大训练集群的建设上干脆利落地超过美国。

面向 2030 年的 AI 电力建设,对中国来说似乎远比对美国更可行。基于 《奔向万亿级美元集群》 中的早前估算。
2. 算法
正如在 《数一数数量级》 中详细讨论过的,扩展算力只是故事的一部分:算法进步大概贡献了 AI 进展的至少一半。我们正在 此时此刻 开发通往 AGI 的关键算法突破(由于 数据墙 的存在,这本质上就是算法领域的 EUV)。
默认情况下,我预期西方实验室会遥遥领先;他们握有大部分关键人才,而且近年来的所有关键突破都是由他们做出的。这个优势的规模,几年内很可能相当于一个大 10 倍(甚至 100 倍)的集群;这将为美国提供相当舒适的领先空间。
然而,按当前的轨迹,我们将彻底拱手让出这个优势:正如在 安全篇 中详细讨论过的,目前的安保状况让中国渗透美国实验室易如反掌。因此,除非我们尽快封锁实验室,我预期中国将能直接窃取通往 AGI 的关键算法要素,并追平美国的能力。9
(更糟的是,如果我们不改善安保,中国还有一条更直截了当的竞争路径。他们甚至不需要训练自己的 AGI:他们可以直接窃取 AGI 的权重。一旦他们偷到一份 自动化 AI 研究员,他们就可以即刻起跑,发动自己的智能爆炸。如果他们愿意比美国更少地保持谨慎——既包括合理的谨慎,也包括不合理的监管和拖延——他们就可能更快地冲过智能爆炸,在通往超级智能的赛跑中抢在我们前面。)
迄今为止,美国科技公司在 AI 和规模化上下的赌注,远大于中国的任何投入;因此,我们遥遥领先。但现在就认定中国已经出局,有点像 2022 年底 ChatGPT 刚发布时就把谷歌排除在 AI 竞赛之外。谷歌当时还没有把力量集中到一场全力以赴的 AI 豪赌上,看起来 OpenAI 遥遥领先——但一年半之后,一旦谷歌醒悟过来,他们展开了一场非常认真的反击。中国同样有一条清晰的路径展开非常认真的竞争。如果中共在 AGI 竞赛中动员起来,图景可能会开始变得截然不同。
作者在脚注中的测算(芯片制造成本差 3 倍,传导到数据中心总成本后增幅有限)隐含一个重要区分:商业竞争中的成本优势 与 国家竞争中的成本优势,效力完全不同。对企业,3 倍成本差足以决定生死,因为资本回报率是硬约束;对主权玩家,算力是战略物资而非投资品——只要收益以“国家力量”计价,报表上的亏损就只是补贴的另一种写法。历史上美国以军备成本拖垮苏联的剧本之所以奏效,前提是对手的民用经济被持续抽血;而今天的中国拥有完整工业体系与出口现金流,“用成本耗死对手”并不显然成立。对投资者的镜像启示:不要用企业资本回报率的框架去定价国家级需求——后者的价格弹性接近于零。
也许中国政府会无能;也许他们会认定 AI 威胁到中共,从而施加 扼杀性的监管。但我不会把希望押在这上面。
至少我认为,我们需要在“我们将面对一场全力以赴的中国 AGI 行动”这一假设下运作。随着 AI 能力年复一年地戏剧性跃升,随着我们开始看到软件工程师的早期自动化,随着 AI 收入爆炸、我们开始看到十万亿美元的估值和万亿级美元集群的建设,随着“我们正处于 AGI 前夜”的更广泛共识开始形成——中共会注意到的。正如我预期这些跃升会唤醒美国政府对 AGI 的认知,我也预期它们会唤醒中共对 AGI 的认知——并唤醒他们认识到:在 AGI 上落后,对他们的国家力量意味着什么。
他们将是一个可怕的对手。
本篇发表约半年后,作者在本节的核心判断——“把中国排除在 AGI 竞赛之外为时尚早”——就得到了一次戏剧性的检验:2024 年 12 月,中国量化基金幻方旗下的 DeepSeek 发布 V3 模型,以极低的训练成本达到 GPT-4 级别以上的性能;2025 年 1 月,DeepSeek-R1 推理模型开源发布,性能对标 OpenAI o1,引发英伟达单日市值蒸发近 6000 亿美元的历史性暴跌。值得注意的是,DeepSeek 的突破主要来自算法与工程效率(作者所说的“算法”维度),其训练仍依赖受限前囤积的英伟达 H800 芯片——这同时印证和修正了作者的图景:出口管制没有“掐死”中国,但确实迫使其走上了效率优先的路线;而“窃取算法”的担忧之外,中国本土实验室展现出的原创工程能力,比作者 2024 年中的估计更强。另一方面,本篇“中国电力建设碾压美国”的判断在此后两年持续得到数据支持。
威权主义的危险
掌握超级智能力量的独裁者,将拥有人类历史上前所未有的高度集中力量。除了能够将其意志强加给其他国家之外,他们还可以在国内确立永恒的统治。数以百万计由 AI 控制的机器人执法人员可以对大众实施治安监控;大规模监控将被超级强化;忠于独裁者的 AI 可以针对每一位公民进行单独的异见评估,用近乎完美的先进测谎技术铲除任何不忠诚。
最重要的是,机器人军队和警察部队可以完全由单一政治领袖掌控,并被编程为绝对服从——不再有军事政变或民众反抗的风险。
过去的独裁统治从未能长久,而超级智能基本上可以消除历史上对其统治的所有威胁,并将其权力“锁定”(参考 价值锁定 (value lock-in))。如果中共获得这种力量,他们就能彻底地、完全地推行党对“真理”的定义。
需要澄清的是,我担忧独裁者获得超级智能,不仅是因为“我们的价值观更好”。我之所以坚定信念于自由与民主,恰恰是因为我不知道什么才是绝对正确的价值观。在漫长的历史长河中,“时间打碎了许多曾令人血脉偾张的信条”。我认为我们应当 将信念寄托于纠错机制、实验、竞争与适应。
超级智能将赋予掌握它的人粉碎反对意见和异见的能力,并将其对人类的宏大规划彻底锁定。任何人都会难以抵御使用这种力量的恐怖诱惑。我由衷地希望,我们能够转而依靠美国制宪先贤们的智慧——让截然不同的价值观共同繁荣,并保留定义了美国这场伟大实验的喧嚣多元性。
AGI 竞赛的成败,关乎的绝不仅仅是某场遥远代理人战争中的胜负,而是自由与民主能否在未来的一个世纪乃至更长时间里存续。人类历史的进程既残酷又清晰。在 20 世纪,暴政曾两次威胁全球;我们绝不能抱有这种威胁已被永久驱逐的幻想。对我许许多多年轻的朋友来说,自由与民主似乎是理所当然的——但事实并非如此。历史上迄今最为常见的政治体制是威权主义。10
“历史上迄今最为常见的政治体制是威权主义。”
"By far the most common political system in history is authoritarianism."
▍点拨:这句话是本章乃至全篇的地基:自由民主在历史长河中是异数,不是默认状态。作者的论证链条由此展开——威权是历史的常态,而超级智能会把威权者镇压异见的能力推到史无前例的高度,并通过「价值锁定」让这种状态延续几十亿年。对习惯把自由当空气的一代人,这是整篇最该停下来想三秒钟的一句话。
我确实无法预知中共及其威权盟友的真实意图。但是,不妨温习一下事实:中共是一个建立在 持续崇拜 人类历史上也许是 最大极权屠夫(“据估计,因饥荒、迫害、劳改和大规模处决造成的受害者达 4000 万至 8000 万人”)基础上的政权;是一个最近将上百万维吾尔人关进 集中营 并 粉碎 了自由香港的政权;是一个系统性运用大规模监控实施社会控制的政权,无论手段是 新潮的(追踪手机、DNA 数据库、人脸识别等)还是 复古的(招募市民大军举报邻居);是一个确保 所有短信 都经过审查,甚至在海外学子参加抗议时将 国内家人带进警察局 以打压异见的政权;是一个 巩固了 习近平终身独裁的政权;是一个宣称要用军事手段粉碎并“重新教育”自由邻邦的政权;是一个 明确追求 以中国为中心的世界秩序的政权。
在这场竞赛中,自由世界必须战胜威权力量。 我们的和平与自由,仰赖于美国在经济和军事上的卓越地位。也许即便拥有了超级智能,中共也会在国际舞台上表现得负责任、各安其分。但纵观此类独裁者的历史,图景并不乐观。如果美国及其盟友未能赢得这场竞赛,我们将输掉一切。
保持健康的领先优势对安全至关重要
科学与技术的诅咒在于:当它们展现奇迹的同时,也扩大了毁灭的手段——从棍棒和石头,到刀剑和枪矛,到步枪和火炮,到机关枪和坦克,到轰炸机和导弹,再到核武器。随着技术的进步,“毁灭成本曲线”(destruction/$)一直在持续下降。我们应该预料到,超级智能出现后的飞速技术进步也将延续这一趋势。
也许生物学的剧烈突破将催生出骇人的新型生物武器:它们能悄无声息、迅速地传播,并在接到指令时以完美的致命性实施杀伤(而且制造极其廉价,连恐怖组织都负担得起)。也许新型核武器能使核武库规模扩大数个数量级,并配备无法侦测的新型运载机制。也许蚊子大小的无人机,每架携带致命毒素,可以精准猎杀敌对国家的每一个国民。很难想象整整一个世纪的技术进步会带来什么——但我确信,它将展现出令人毛骨悚然的毁灭可能性。
人类在冷战期间险些未能逃脱自我毁灭。从历史视角看,AGI 带来的最大存在风险,在于它将使我们能够开发出前所未有的新型大规模死亡手段。这一次,这些手段甚至可能扩散到流氓行为体或恐怖分子手中(特别是如果按照 目前的轨迹,超级智能的权重没有得到充分保护,而被朝鲜、伊朗等国直接窃取)。
朝鲜已经拥有一个系统的生物武器计划:美国 评估认为“朝鲜拥有一个专门的、国家级的进攻性计划”来研发和生产生物武器。看起来他们主要的瓶颈在于其顶尖科学家小圈子推高(合成)生物学极限的能力。当这个瓶颈被消除时会发生什么?当他们可以使用数以百万计的超级智能来加速其生物武器研发时会发生什么?例如,美国 评估认为 朝鲜目前对生物制品进行基因改造的能力“有限”——而当这种能力变得毫无限制时又会发生什么?他们将用怎样邪恶的新特制品来挟持我们?
此外,正如在 超级对齐篇 中讨论过的,在智能爆炸期间及前后将存在极其严峻的安全风险——我们将面临全新的技术挑战,以确保能够可靠地信任和控制超人 AI 系统。这很可能需要我们在某些关键时刻放慢脚步,比如在智能爆炸中途推迟 6 个月以获得额外的安全保障,或者将很大一部分算力用于对齐研究而非能力提升。
有些人寄希望于签署某种国际安全条约。在我看来,这纯属幻想。如果中共与美国政府都对 AGI 的重要性觉醒到足以严肃对待安全风险的程度,那么在那个世界里,双方也必定都已经意识到这关乎国际经济与军事的霸主地位,在 AGI 上落后几个月就可能意味着永久出局。如果竞赛处于胶着状态,任何军控均衡(至少在超级智能降临初期的阶段)看起来都极其不稳定。简而言之,“违约突围”(breakout)太容易了:抢在前面推进智能爆炸、以获取超级智能和决定性优势的动机(以及担心对方会这样做的恐惧)实在太强烈了。11 至少,我们在军控条约上取得够用成果的概率微乎其微。(看看那些气候条约进展如何?与这个问题相比,气候变化简直是个简单得多的问题。)
我们主要的——也许是唯一的——希望,是民主国家联盟对敌对势力保持健康的领先优势。美国必须发挥领导作用,并利用这种领先优势向世界其他地方推行安全规范。这就是我们在核武器上走过的道路:提供核技术和平利用的援助,换取国际防扩散机制(最终由美国军事力量作后盾)——这也是唯一被证明行之有效的道路。
也许最重要的是,健康的领先优势赋予了我们回旋的余地:在必要时“兑现”一部分领先优势以做好安全工作的能力,例如在智能爆炸期间投入额外精力做对齐。
如果你陷入一场势均力敌的军备竞赛,超级智能的安全挑战将变得 极其 难以管理。领先 2 年与领先 2 个月,很容易产生天壤之别。如果我们只有 2 个月的领先优势,我们在安全上就没有任何容错空间。出于对中共智能爆炸的恐惧,我们几乎肯定会毫无保留地猛冲我们自己的智能爆炸——在几个月内直奔远比人类聪明得多的 AI 系统而去,没有任何放慢脚步做对关键决定的能力,并承担由此引发的超级智能失控的一切风险。我们将面对极其动荡的局面,因为我们和中共都在飞速开发翻天覆地的军事新技术,反复颠覆威慑平衡。如果我们的秘密和权重 没有被封锁,甚至可能意味着一系列其他流氓国家也近在咫尺,各自使用超级智能为其配备新的超级大规模杀伤性武库。即便我们勉强赢得了微弱领先,那也很可能是一场惨胜;这场关乎存亡的挣扎将把世界推向彻底自我毁灭的边缘。
作者的“领先 2 年与领先 2 个月之别”,用投资语言翻译就是:领先优势是一种实物期权,其行权价值只在危机时刻显现。顺风时,2 年领先与 2 个月领先的产出几乎一样——都能继续研发、继续融资;但一旦进入智能爆炸的湍流区,只有领先者拥有“放慢 6 个月做对齐”这个期权的行权能力,胶着者的期权价值归零。这解释了安全冗余为何总被资本市场低估:它的收益分布极度偏态,平时看似拖累回报率的赘肉,在尾部情景中却是全部本金。对经营者的启示可以直接搬用:现金储备、供应链双源、关键岗位的冗余配置,都是同一类“平时被抱怨、危机时救命”的期权——问题只在于,你是否为行权时刻存够了溢价。
如果民主盟友拥有健康的领先优势,比如 2 年,超级智能的图景就会截然不同。12 这为我们争取到了必要的时间,去应对超级智能降临前后我们将面临的前所未有的严峻挑战,并稳定局势。
等到美国必将取得决定性胜利这一点明朗起来,那才是 我们向中国及其他对手提出协议的时刻。他们知道自己赢不了,因而知道唯一的选择就是坐到谈判桌前;而我们也更希望避免炽热的对峙,或是敌方为了破坏西方努力而做出的孤注一掷的军事尝试。作为对其不干涉内政的保证以及共享超级智能和平红利的交换,防扩散机制、安全规范,以及超级智能时代之后一种哪怕是表面上的稳定局面,才有可能诞生。
无论如何,随着我们在这一挣扎中越走越深,我们绝不能忘记自我毁灭的威胁。我们能够平安度过冷战靠了太多的运气 13——而未来的毁灭力量可能比我们当时面对的强大上千倍。由美国领导的民主联盟保持健康的领先——并郑重地履行这一领导职责以稳定我们所处的任何动荡局势——或许是渡过这一悬崖绝壁的最安全路径。但在 AGI 竞赛的白热化阶段,我们最好不要把它搞砸了。
超级智能是国家安全问题
答案显而易见:AGI 是对美国国家安全的生死存亡级挑战。是时候开始将其作为国家安全问题对待了。
美国政府正在缓慢地采取行动。对美国芯片的出口管制是一件大事,在当时是一项极其有远见的举措。但我们必须在全方位严阵以待。
美国 拥有 领先优势。我们只需要保持住它。而我们现在正在把事情搞砸。最重要的是,我们必须迅速且彻底地 封锁 AI 实验室,以免在未来 12-24 个月内泄露关键的 AGI 算法突破(或 AGI 权重本身)。我们必须在美国本土建设算力集群,而不是在提供便捷资金的独裁国家建设。是的,美国的 AI 实验室有责任与情报界和军方合作。美国在 AGI 上的领先,绝不可能仅靠做出最好的 AI 女友应用来守护和平与自由。这或许并不优雅——但我们必须为美国的国防构建 AI。
“美国拥有领先优势。我们只需要保持住它。而我们现在正在把事情搞砸。”
"The US has a lead. We just have to keep it. And we're screwing that up right now."
▍点拨:全文最短的一段,也是作者的 urgency 最浓缩的一段。注意紧迫感的来源不是对手太强,而是自己在浪费:12-24 个月的窗口期里,实验室安保、本土集群、军民融合三本账同时在欠。「搞砸」不是修辞,它有清单——前一句的三件事就是清单本身。
作者把“美国领导下的民主联盟”视为防扩散机制的承运人,这假设了阵营内部的利益一致,而证据并不总是支持这一点。其一,出口管制每次收紧都伴随盟友企业的营收损失与游说反弹,荷兰与日本在设备管制上的跟进始终落后于华盛顿的期望。其二,盟友存在搭便车的经典激励:安全由美国承保,产业收益却希望本国分享。其三,民主国家的内政本身就是变量——选举周期可以在四年内逆转产业政策、联盟承诺乃至对 AGI 的基本立场;2025 年美国与盟友间再度紧张的贸易摩擦也提醒人们,“自由世界”的团结程度随政治周期波动。核时代防扩散机制的建成,依赖冷战两极格局下盟友的高度依附;而在盟友也在竞相发展本国 AI 产业的世界里,“领导”与“追随”的关系未必自动成立。
我们已经驶向几十年来最易燃的国际局势。普京正在东欧推进。中东烈火熊熊。中共将拿下台湾视为其历史使命。现在再加入 AGI 竞赛。再加入超级智能降临后压缩在几年内的整整一个世纪的技术突破。这将是人类有史以来最不稳定的国际局势之一——至少在最初阶段,发动先发制人打击的动机将极其强烈。14
AGI 的时间线(~2027 年?)与台湾观察家预测的攻台时间线(中国将在 2027 年前做好攻台准备?)之间已经出现了令人胆寒的交汇——随着全世界对 AGI 的觉醒,这种交汇必将愈发剧烈。(想象一下,如果在 1960 年,全球绝大多数的铀矿储量不知为何都集中在柏林!)在我看来,AGI 的终局在世界大战的背景下演变的可能性是真实存在的。届时,一切规则都将失效。
本系列下一篇:IV. 国家工程 (The Project)
- 区分“商业护城河”与“战略护城河” :成本与技术代差在商业竞争中足以制胜,但在国家级竞争者面前会被主权补贴无限摊薄。评估壁垒时先问:对手是按资本回报率行事的企业,还是按战略目标行事的国家?
- 为“行权时刻”持有期权 :冗余(现金、算力、供应链、关键岗位)平时拖累回报率,危机时决定生死。真正的问题不是“要不要冗余”,而是“冗余够不够撑过最坏的 6 个月”。
- 警惕“对手已被排除在外”的共识 :每一次“他们造不出来”的断言——7nm 芯片、低成本训练、推理模型——都在随后一两年内被证伪。在竞争分析中,给“对手觉醒并全面动员”的情景保留显性的概率权重。
- 联盟是资产,也需要维护成本 :技术优势不会自动转化为阵营优势;提前投资于标准、互信与利益分配机制,远比危机中临时拼凑联盟便宜。
Footnotes
-
例如,Yi-Large 在 LMSys 上似乎达到了 GPT-4 级别的水平,但这发生在 OpenAI 发布 GPT-4 的一年多之后。 ↩
-
类似地,Qwen 在 Hugging Face 上的代码频繁引用 Mistral,中国大模型对美国开源技术的依赖似乎已成为引发最高层关注的明确担忧。 ↩
-
华为昇腾 910B 每张卡的成本似乎在 12 万元人民币左右(约合 1.7 万美元)。该芯片由中芯国际 7nm 工艺生产,性能与英伟达 A100 相当。H100 的性能大约是 A100 的 3 倍,而价格稍高(平均售价约为 2.0 万 - 2.5 万美元),这意味着目前中国要获取同等 AI GPU 性能,成本仅增加了约 2 - 3 倍。 ↩
-
例如,他们仍在(因某种原因尚未受到出口管制的)使用西方 HBM 内存,尽管据称长鑫存储(CXMT)将于明年开始送样 HBM。 ↩
-
不过,由于他们仍可从西方进口其他类型的芯片,他们完全可以把全部 7nm 制程产能集中用于 AI 芯片,从而弥补整体产能的不足。 ↩
-
值得注意的是,就连网络犯罪分子也能入侵英伟达并获取关键的 GPU 设计机密。此外,在最近被起诉的前谷歌中国籍员工盗取的机密中,显然就包含了 TPUv6 的设计。 ↩
-
例如,这些芯片在性能/美元或性能/瓦特上可能要差 2 倍。这反过来也意味着,要达到相同的总体数据中心性能,你需要消耗更多电力,并将更多芯片联网组网,这也增加了实施的复杂性。 ↩
-
需要指出的是,即使芯片制造端成本高出 3 倍,数据中心总体成本的增幅也会远低于 3 倍。由于英伟达的高额利润率,实际逻辑晶圆制造成本还不到英伟达 GPU 售价的 5%,即便算上内存和 CoWoS 封装,也不到售价的 20%。而 GPU 本身往往只占数据中心建设成本的 50-60%。因此,晶圆制造端 3 倍的成本增加,转化到数据中心总成本上增幅要小得多。即使芯片制造高出 10 倍,中国似乎也能在不大幅推高数据中心总成本的情况下消化这一差距。 ↩
-
有人认为,即使中国窃取了这些机密,由于缺乏“隐性知识”(tacit knowledge),他们也无法展开竞争。我不同意这种看法。我认为这可以分为两个层面:底层是进行大规模训练的工程能力,这些训练过程可能充满技巧且极其精细,确实需要隐性知识。但正如我后面会讨论的,中国的 AI 团队已经证明了自己完全有能力训练大规模模型,我认为他们本土就具备这种隐性知识。顶层则是算法秘方——比如模型架构、正确的扩展定律等——这些内容在一小时的通话中就能交代清楚。这些算力乘数效应通常是离散的技术变革,这意味着大规模训练的底层隐性知识是通用的。我不认为“隐性知识”会成为阻碍中国 AGI 努力的决定性屏障。 ↩
-
(主要是君主制。) ↩
-
试比较不稳定与稳定的军控均衡:冷战时期 20 世纪 80 年代的军控大幅减少了核武器数量,但其目标是一个稳定均衡。美苏两国仍各自拥有数以千计的核弹头,“相互保证毁灭”(MAD)依然成立,即使其中一方发动突击计划建造更多核武也无法打破平衡;流氓国家可能试图制造少数核武,但无法在根本上以压倒性优势威胁美苏。
然而,当军备削减到极低水平,或者发生在技术飞速变革的背景下时,均衡就会变得极不稳定。流氓行为体或违约者可以轻易启动突击计划,并威胁彻底压倒其他参与者。零核武器并非稳定均衡;类似地,该论文 提供了有趣的历史案例研究(例如一战后的军备限制和《华盛顿海军条约》),展示了在类似动态局势下的军备削减如何破坏而非巩固了稳定。
如果仅仅几个月的 AGI 领先优势就能带来完全决定性的优势,这将使 AI 领域达成稳定的军控协议同样困难。一个野心勃勃的流氓势力或违约者可以通过秘密启动突击计划获得巨大优势;这种诱惑太大了,任何协议安排都难以保持稳定。 ↩
-
值得体会的是,在 AI 能力差异方面,2 年的领先优势是多么重大。考虑到如今本已飞快的 AI 进步节奏,以及智能爆炸期间我们预期的更快节奏,再加上超级智能降临后更广泛的技术爆炸,“即便”只是 2 年的领先,也意味着极其巨大的能力鸿沟。 ↩
-
丹尼尔·艾尔斯伯格(Daniel Ellsberg)作为当时兰德公司和国家安全机构的核战争规划者之一,在他的著作(《末日机器》)中对此进行了引人入胜的详尽讲述。 ↩
-
每个人都将竞相开发自己的超级智能,而在领先者不可逆转地拉开差距之前,窗口期将非常有限。在对手获得足够的物理优势(例如利用超级智能开发出无懈可击的导弹防御或无人机蜂群)从而将其他人永久甩在身后之前,试图瘫痪敌方超级智能算力集群的动机会非常强烈。 ↩