情境感知：IIIb. 实验室防御战：迈向 AGI 的安全锁 (Lock Down the Labs: Security for AGI)

美国顶尖的 AI 实验室把安全当作事后才想起的点缀。眼下，它们基本上就是在把 AGI 的核心机密拱手献给中共。要在国家级行为体的威胁面前保住 AGI 的机密与权重，将是一场极其艰巨的工程——而我们并未走在正轨上。

在本篇中：

• 低估国家级行为体，代价自负
• 威胁模型
  • 模型权重
  • 算法机密
• “超级安全”需要什么
• 我们并未走在正轨上

---

他们在傍晚齐聚维格纳（Wigner）的办公室。“西拉德概述了哥伦比亚大学的数据，”惠勒（Wheeler）回忆道，“以及数据中初步显示的迹象：每次由中子诱发的裂变，至少会释放出两个次级中子。这难道不意味着核爆炸物肯定是可能的吗？”不一定，玻尔（Bohr）反驳道。

“我们试图说服他，”泰勒（Teller）写道，“我们应该继续推进裂变研究，但不应该发表研究结果。我们必须把结果保密，以免纳粹得知后先造出核爆炸装置。”

“玻尔坚持认为我们永远不可能成功生产出核能，他也坚持认为保密绝不应该被引入物理学。”

—— 理查德·罗兹 (Richard Rhodes)，《原子弹的制造》（The Making of the Atomic Bomb，第 430 页）

按照目前的轨迹，中国领先的 AGI 实验室将不在北京或上海——而会开在旧金山和伦敦。几年之后，人们会清楚地认识到，AGI 机密是美国最重要的国防机密——理应得到与 B-21 轰炸机或哥伦比亚级核潜艇图纸同等的待遇，更不必说那句老生常谈的“核机密”了——但今天，我们却像对待随便一个 SaaS 软件一样对待它们。照这样下去，我们基本上就是在把超级智能拱手送给中共。

我们将投入的数万亿美元、美国工业力量的总动员、我们最杰出头脑的努力——如果中国或其他国家可以直接偷走模型 权重 （一个训练完成的 AI 模型的全部、AGI 的全部，无非就是计算机上的一个大文件）或关键 算法机密 （构建 AGI 所必需的关键技术突破），这一切都将毫无意义。

美国顶尖的 AI 实验室自称正在构建 AGI：他们相信，自己正在构建的技术，将在本十年结束之前成为美国有史以来最强大的武器。但他们并没有按照这个标准来对待它。他们衡量自身安全工作的参照物是“随便一家科技初创公司”，而不是“国家级重点国防项目”。随着 AGI 竞赛不断加剧——随着人们越来越清楚，超级智能将在国际军事竞争中具有 压倒性的决定性意义——我们将不得不直面外国间谍活动的全部火力。眼下，这些实验室几乎连脚本小子（script kiddies）都防不住，更谈不上“防朝鲜级安全”，更不用说准备好迎接中国国家安全部的全力出击了。

而且，这件事的重要性并不只在几年之后。当然，你可能会说：GPT-4 的权重被偷了又怎样——就权重安全而言，真正重要的是我们将来能保住 AGI 的权重，所以我们还有几年时间。（不过，如果我们真的要在 2027 年建成 AGI，那我们可真得动起来了！）但 AI 实验室正在 此时此刻 开发 算法机密 —— 那些关键的技术突破，也可以说是蓝图——即通往 AGI 的蓝图（特别是大语言模型之后、用来越过数据之墙的 RL/自我博弈/合成数据等“新范式”）。算法机密需要的“AGI 级安全”，要比权重的“AGI 级安全”提前好几年到位。几年之内，这些算法突破的价值将比一个大 10 倍甚至 100 倍的算力集群还要重要——这比美国政府一直在（极有先见之明地）大力推进的算力出口管制还要重大得多。眼下，你甚至都不需要发动什么戏剧性的间谍行动来窃取这些机密：随便去参加一场旧金山的派对，或者透过办公室的玻璃窗往里看看就行了。

我们今天的失败很快就会变得不可逆：在未来 12 到 24 个月里，我们将把关键的 AGI 突破泄露给中共。这将在本十年结束之前，成为美国国家安全体系最大的遗憾——没有之一。

自由世界能否在与威权国家的对峙中存续，在此一举——而健康的领先优势也将是必要的缓冲，给我们留出把 AI 安全做对的余地。美国在 AGI 竞赛中占据优势。但如果我们不尽快认真对待安全，我们就会拱手让出这一领先。现在就行动起来，甚至可能是我们今天为确保 AGI 走向良好而必须做的头等大事。

低估国家级行为体，代价自负

太多聪明人低估了间谍活动。

国家及其情报机构的能力极其强大。即使在平常时期、非全面 AGI 竞赛时期（而且仅凭我们公开所知的一小部分），民族国家（或不那么先进的行为体）就已经能够做到：

• 仅凭一个电话号码，就能零点击入侵任何一部目标 iPhone 和 Mac；

• 渗透一个 物理隔离的原子武器计划；

• 篡改谷歌的源代码；

• 每年发现 数十个零日漏洞，平均 需要 7 年才会被察觉；

• 对 大型科技公司发动鱼叉式钓鱼攻击；

• 在 员工的家用电脑上安装键盘记录器；

• 在 加密方案中植入陷门；

• 通过电磁辐射或振动窃取信息；

• 仅凭你电脑发出的噪音，就能判断你在电子游戏地图上的位置，或者 窃取密码；

• 直接访问 核电站 等敏感系统；

• 从美国政府手中 窃走 2200 万份安全许可档案；

• 通过在暖通空调（HVAC）系统中植入漏洞，曝光 1.1 亿客户的财务信息（译者注：指 2013 年美国零售商 Target 数据泄露事件）；

• 大规模攻破计算机硬件供应链；

• 把 恶意代码塞进软件依赖的更新包，而这些依赖正被顶尖科技公司和美国政府广泛使用；

• ……更不用说安插间谍，或者色诱、哄骗、威胁员工（这类手段可以在 很大规模 上奏效，只是较少被公开）；

• ……更不用说特种部队行动之类的手段（当局势真正升温时）。

如果你想进一步感受与情报机构正面交锋意味着什么，我强烈推荐《水族馆》（Inside the Aquarium），作者是一位苏联格鲁乌（GRU，军事情报总局）的叛逃者。¹

中国已经在开展大规模的工业间谍活动；联邦调查局（FBI）局长表示，中国的黑客行动规模超过了“其他所有主要国家的总和”（译者注：指时任 FBI 局长克里斯托弗·雷（Christopher Wray）在 2024 年初的公开表态）。就在几个月前，美国司法部长 宣布逮捕一名中国公民，此人曾从谷歌窃取关键的 AI 代码，打算带回中国（事情发生在 2022/23 年，而这很可能只是冰山一角）（译者注：本文写于 2024 年 6 月，指 2024 年 3 月对丁林伟（Linwei Ding）的逮捕）。²

但这还只是开始。我们必须做好准备：未来几年，我们的对手将“对 AGI 觉醒”。AI 将成为世界上每一个情报机构的头号优先事项。到那种局面下，它们将不惜动用非常手段、不计任何代价来渗透 AI 实验室。

---

威胁模型

我们必须保护两类关键资产：模型权重（越接近 AGI 越重要，但要把这件事做对，需要数年的准备和演练）和算法机密（从昨天就该开始）。

模型权重

一个 AI 模型，无非就是服务器上一大串数字组成的文件。这个文件是可以被偷走的。对手要追平你的数万亿美元、你最聪明的头脑和你几十年的工作，只需要偷走这个文件。（试想一下，如果纳粹拿到了洛斯阿拉莫斯制造出的每一枚原子弹的精确复制品，会怎样。）

如果我们保不住模型权重，那就是在替中共构建 AGI（而且，按照 AI 实验室安全的当前轨迹，甚至是在替朝鲜构建）。

即使撇开国家竞争，保护模型权重对于防止 AI 灾难也至关重要。如果一个恶意行为体（比如恐怖分子或流氓国家）可以直接偷走模型、绕过一切安全层、为所欲为，那么我们所有的焦虑和防护措施都将化为乌有。超级智能可能发明的任何新型大规模杀伤性武器，都会迅速扩散到数十个流氓国家手中。此外，安全也是抵御 失控或未对齐的 AI 系统 的第一道防线（如果我们没能关住失控的超级智能，原因只是我们没有先在物理隔离的集群里构建和测试它，我们会觉得自己有多蠢？）。

眼下，保护模型权重还没有那么要紧：偷走 GPT-4 而没有配套的训练配方，对中共的帮助并不大。但几年之后，一旦我们拥有 AGI——拥有真正强大得难以置信的系统——这将变得 无比要紧 。

最让我夜不能寐的单一场景或许是：中国或另一个对手，在 智能爆炸 的前夜，窃走了“自动化 AI 研究员”模型的权重。 中国可以立即用这些权重自己把 AI 研究自动化（哪怕他们此前远远落后）——并引爆他们自己的智能爆炸。他们实现 AI 研究自动化、构建超级智能所需要的东西，就全齐了。美国拥有的任何领先优势都将烟消云散。

更有甚者，这会立刻把我们推入一场生死竞赛；任何用于确保超级智能安全的余地都将消失。中共很可能会试图以最快的速度冲过智能爆炸——因为在超级智能上哪怕领先几个月，也可能意味着 决定性的军事优势——并在这个过程中跳过任何负责任的美国 AGI 项目本希望采取的所有安全预防措施。为了避免中共取得完全主导，我们也将不得不狂奔着冲过智能爆炸。即使美国最终仍能勉强领先，余地的丧失也意味着我们将不得不在 AI 安全上冒巨大的风险。

今天，我们距离“足以保护权重”的安全水平还差着十万八千里。Google DeepMind（考虑到谷歌的基础设施，它可能是所有 AI 实验室中安全做得最好的一家）至少坦率地承认了这一点。他们的 《前沿安全框架》（Frontier Safety Framework） 列出了 0、1、2、3、4 五个安全等级（约 1.5 级是抵御资源充足的恐怖组织或网络犯罪分子所需的水平，3 级是抵御世界上那些“朝鲜们”所需的水平，而 4 级是你若想有机会防住最强国家级行为体的重点进攻所需的水平）。³ 他们承认自己处于 0 级（只有最平庸、最基本的措施）。如果我们很快就搞出了 AGI 和超级智能，那我们简直就是在把它亲手交给恐怖组织和世界上每一个疯狂的独裁者！

关键在于，建设权重安全所需的基础设施很可能需要数年的提前期——如果我们认为约 3 到 4 年内实现 AGI 是一个真实的可能性，并且届时需要“防国家级”的权重安全，我们就必须 现在 启动紧急攻关。保护权重需要硬件层面的创新和截然不同的集群设计；这种级别的安全不可能一蹴而就，而需要一轮又一轮的迭代。

如果我们没能及时做好准备，局面将极其严峻：我们已经站在超级智能的门槛上，距离必要的安全水平却还有好几年。摆在我们面前的选择将是：要么继续推进、但等于直接把超级智能拱手交给中共——并由此引发前文所述的那场穿越智能爆炸的生死竞赛；要么等安全紧急攻关计划完成再推进，却要冒失去领先优势的风险。

算法机密

虽然人们开始意识到（尽管不一定付诸实施）权重安全的必要性，但眼下可以说更重要、也被 严重 低估的，是保护算法机密。

一种理解方式是：对中国而言，窃取算法机密，价值相当于拥有一个大了 10 倍甚至更多的算力集群：

• 正如 《估算数量级》 中所讨论的，对 AI 进展而言，算法进步的重要性大概不亚于算力扩张。按照每年约 0.5 个数量级（OOM）算力效率提升的基线趋势（再叠加额外的算法“解除束缚”收益），从现在到 AGI，我们应该预期会积累价值数个数量级的算法机密。默认情况下，我预计美国实验室会领先数年；如果他们能守住自己的机密，这很容易就相当于 10 倍到 100 倍的算力。

• （请注意，我们愿意通过对英伟达芯片实施出口管制，让美国投资者承担数千亿美元的代价——大概让中国实验室的算力成本上升 3 倍——但我们却正在到处泄露价值 3 倍的算法机密！）

• 也许更重要的是，我们此刻可能正在开发通往 AGI 的关键范式突破。 正如 前文所讨论的，简单地扩大现有模型的规模将撞上一堵墙：数据之墙。即使有再多的算力，也不可能做出更好的模型。前沿 AI 实验室正在拼命研究下一步是什么，从强化学习（RL）到合成数据。他们很可能会搞出一些惊人的东西——本质上，是通用智能版本的“AlphaGo 自我博弈”。他们的发明，其关键程度将不亚于当年大语言模型（LLM）范式的发明，并将成为构建远超人类水平系统的钥匙。我们仍有机会对中国封锁这些关键算法突破——没有这些突破，他们将被困在数据之墙前。但如果在未来 12 到 24 个月里没有更好的安全，我们很可能会不可逆地把这些关键的 AGI 突破拱手送给中国。

• 人们很容易低估算法机密带来的优势有多重要——因为直到大约几年前，所有东西都是公开发表的。基本思想人尽皆知：在互联网文本上扩大 Transformer 的规模。许多算法细节和效率技巧也人尽皆知：Chinchilla 缩放定律、混合专家模型（MoE）等等。因此，今天的开源模型相当不错，一堆公司也都有相当不错的模型（主要取决于他们融到了多少钱、集群有多大）。但这种情况在未来几年很可能会发生相当剧烈的变化。如今，前沿算法进步基本上都发生在实验室内部（学术界惊人地无关紧要），而领先的实验室已经停止发表他们的进展。我们应该预期未来会出现大得多的分化：实验室之间、国家之间、专有前沿与开源模型之间。少数美国实验室将遥遥领先——这是一道价值 10 倍、100 倍甚至更多的护城河，远比 7 纳米对 3 纳米芯片的差距要大——除非他们转瞬间就把算法机密泄露出去。⁴

简而言之，我认为，保护不了算法机密，很可能就是中国得以在 AGI 竞赛中保持竞争力的最可能路径。（我在 后文 中会进一步讨论这一点。）

无论怎么强调当下算法机密安全之糟糕都不为过。在各家实验室里，能接触到最重要机密的人数以千计；基本上没有背景审查、没有信息分隔、没有管控、没有基本信息安防（infosec），诸如此类。东西都存在容易被黑的 SaaS 服务上。人们在旧金山的派对上闲聊多嘴。任何一个满脑子机密的人，随时都可能被开出 1 亿美元的价码、被中国实验室挖走。⁵ 你可以……直接透过办公室窗户往里看。如此种种。市面上有许多文章，以及在旧金山满天飞的传闻，号称掌握了各家实验室算法进展的大量细节。

AI 实验室的安全并不比“随便一家初创公司的安全”好多少。直接把 AGI 机密卖给中共，至少还更诚实些。

……这是我们在 OpenAI 或任何其他美国 AI 实验室看到的情形吗？不是。事实上，我们看到的恰恰相反——安全状况如同瑞士奶酪，到处都是洞。中国要渗透这些实验室，用任何常规的工业间谍手法都易如反掌，比如直接贿赂清洁人员往笔记本电脑里插 USB 小硬件。我自己的假设是：所有这类美国 AI 实验室都已经被全面渗透，中国 此时此刻 就在每天夜里下载着全美的 AI 研究和代码……

—— 马克·安德森 (Marc Andreessen)

虽然这会很难，但我认为这些机密是守得住的。对于某个实验室里某一项算法突破的关键实现细节，真正“需要知情”的人可能只有几十个（即使需要知道基本高层思路的人更多）——你可以对这些人进行审查、分隔和高强度监控，再辅以彻底升级的信息安防。

---

“超级安全”需要什么

AI 实验室的安全上有大量唾手可得的低垂果实。哪怕只是采用那些以守口如瓶著称的对冲基金、或者谷歌客户数据级别的最佳安全实践，也能让我们在抵御中共的“常规”经济间谍活动方面，处于好得多的位置。事实上，私营部门中确实有一些在保密方面做得相当出色的显著例子。以量化交易公司（世界上的那些简街资本（Jane Street）们）为例。好几个人告诉过我：只要聊上一个小时，他们就能向竞争对手透露足够多的信息，足以让自己公司的阿尔法收益（alpha）归零——这很像许多关键的 AI 算法机密，一场短聊就能交代出去——然而这些公司就是能守住这些机密、保住自己的优势。

尽管美国大多数顶尖 AI 实验室都拒绝把国家利益放在首位——只要这一层级的基本安全措施有任何成本、或需要把安全置于任何优先位置，它们就予以拒绝——但摘下这些低垂的果实，完全在它们的能力范围之内。

但让我们把目光再放远一点。一旦中国开始真正理解 AGI 的分量，我们就应该预期其间谍机器的全部火力将倾泻而来；想象一下：数十亿美元的投入、数以千计的人员、以及专门用于渗透美国 AGI 项目的极端手段（例如特种作战突击队）。AGI 和超级智能的安全将需要什么？

简而言之，这只有借助政府的力量才可能实现。 以微软为例，它就经常被国家级行为体入侵（例如，俄罗斯黑客最近 窃取了微软高管的电子邮件，以及 微软托管的政府电子邮件）。一位在该领域工作的高级安全专家估计：即使私营部门倾尽全力紧急补课，如果中国把窃取 AGI 权重当作头号优先事项，他们仍然很可能得手——要想把这个概率压到个位数，或多或少需要一个政府项目。

虽然政府自己在安全方面也并非战绩完美，但它们是唯一拥有保护国防级机密所需的基础设施、诀窍和能力的主体。这些都是些基本的东西：对员工进行高强度审查的权力；以入狱相威胁来震慑泄密；数据中心的实体安保；以及像美国国家安全局（NSA）这样的机构和安全许可体系背后人员的庞大专业知识（私营公司根本不具备应对国家级攻击的专业能力）。

我不是安全许可体系里的人，所以无法完整说明 AGI 的安全真正需要什么。关于这一点，最好的公开资料是兰德公司（RAND）的 权重安全报告。为了让你们感受一下，这种“防国家级行为体”的安全实际上意味着什么：

• 完全物理隔离（air-gapped）的数据中心，实体安保对标最高等级的军事基地（经安全审查的人员、物理防御工事、现场反应部队、无死角的监控和极端严格的出入管控）。

• 而且不只是训练集群——推理集群也需要同等强度的安全！⁶

• 在机密计算（confidential compute）/硬件加密 ⁷ 上取得新的技术突破，并对整个硬件供应链进行极端严格的审查。

• 所有研究人员都在 SCIF（Sensitive Compartmented Information Facility，敏感分隔信息设施，读作“skiff”，参见 这篇可视化介绍）中工作。

• 极端的人员审查和安全许可（包括定期的员工诚信测试（含测谎）之类）、持续的监控和大幅减少的外出自由，以及严格的信息分隔。

• 强大的内部管控，例如运行任何代码都需要多密钥签核。

• 对任何外部依赖的严格限制，并满足 TS/SCI 网络的一般要求。

• 由 NSA 或类似机构持续开展高强度渗透测试。

• 诸如此类……

巨型 AGI 集群的蓝图正在此刻被绘制出来；相应的安全工作也必须同步展开。如果我们几年后就要建成 AGI，留给我们的时间已经非常少了。

不过，这项浩大的工程不应导致宿命论。安全问题上值得庆幸的一点是：中共大概还没有完全“吞下 AGI 的药丸”（AGI-pilled），因此尚未投入最极端的努力。美国 AI 实验室的安全“只需要”相对于中国间谍活动的强度保持领先曲线。这意味着立刻升级安全，以领先于“更常规”的经济间谍活动（我们远远谈不上能抵御它，但私营公司大概可以做到）；也意味着在未来几年，随着中国和其他外国间谍活动的升级，与政府合作，迅速升级到强度高得多的措施。

---

有些人认为，严格的安全措施及其带来的摩擦不值得，因为它们会让美国 AI 实验室放慢太多。但我认为这是错误的：

• 这是一个公地悲剧问题。对某个实验室的商业利益而言，导致 10% 减速的安全措施，在与其他实验室的竞争中可能是有害的。但如果每个实验室都愿意接受这份额外的摩擦，国家利益显然会得到更好的服务：美国的 AI 研究远远领先于中国和其他外国的算法进展；作为我们的国家优势，美国保住 90% 速度的算法进步，显然好过保住 0% 的领先优势（因为一切转瞬间就被偷光了）！

• 此外，从长期研究产出效率来看，现在就提升安全才是痛苦 更小 的路径。最终，不可避免地——哪怕只是在超级智能的前夜、在那场非同寻常的军备竞赛到来之时——美国政府会意识到局面无法忍受，并要求安全整肃。到那时，不得不从零起步实施极端的“防国家级行为体”安全措施，会比迭代式推进痛苦得多，造成的减速也大得多。

另一些人则认为，即使我们的机密或权重泄露，我们仍然能通过其他方式跑得更快、勉强保持 微弱 领先（所以我们不必担心这些安全措施）。这同样是错误的，或者至少是在冒 极其 大的风险：

• 正如我在 后文 中讨论的，我认为中共很可能能够靠蛮力在建设上超过美国（100 吉瓦的集群对他们来说会容易得多）。更一般地说，中国可能没有会拖慢美国脚步的那种顾虑（既包括合理的顾虑，也包括不合理的顾虑！）。即使窃取算法或权重“只是”让他们在模型上与美国并驾齐驱，这也可能足以让他们赢得超级智能竞赛。

• 此外，即使美国最终勉强领先，1 到 2 年的领先与 1 到 2 个月的领先之间的差别，对于驾驭超级智能的凶险也 真的 至关重要。1 到 2 年的领先，意味着至少有合理的余地来把安全做对，来驾驭智能爆炸和后超级智能时期前后那段极其动荡的时期。⁸ 仅仅 1 到 2 个月的领先，意味着一场压力极大的亡命国际军备竞赛，意味着狂奔着冲过智能爆炸，意味着完全没有余地来把安全做对。正是在那场并驾齐驱的生死竞赛中，我们将 面临最大的自我毁灭风险。

• 别忘了俄罗斯、伊朗、朝鲜等等。它们的黑客能力也绝非等闲。按照目前的轨迹，我们也在免费与它们分享超级智能！如果没有好得多的安全，我们就是在把自己最强大的武器，扩散给一大堆极其危险、鲁莽且不可预测的行为体。⁹

---

我们并未走在正轨上

当少数人最初看清原子弹是可能的之时，保密或许也是最具争议的议题。1939 年和 1940 年，利奥·西拉德（Leo Szilard）“在整个美国物理学界，以裂变事务保密首席使徒的身份而闻名”。¹⁰ 但他被大多数人拒之门外：保密完全不是科学家们习惯的事情，而且与他们开放科学的基本直觉相悖。但必须要做的事慢慢变得清楚：这项研究的军事潜力太大，绝不能就这样与纳粹自由分享。最终，保密被及时强制执行。

利奥·西拉德。

1940 年秋，恩里科·费米（Enrico Fermi）完成了对石墨的碳吸收新测量，表明石墨可以作为核弹的可行慢化剂。西拉德再次向费米发起了保密攻势。“那时费米真的发火了；他真心认为这很荒谬，”西拉德回忆道。幸运的是，后续的恳求最终成功了，费米不情愿地没有发表他的石墨结果。¹¹

与此同时，德国项目已经把候选慢化剂材料缩小到两种：石墨和重水。1941 年初，在海德堡，瓦尔特·博特（Walther Bothe）对石墨的吸收截面做了一次错误的测量，得出结论认为石墨会吸收过多的中子，无法维持链式反应。由于费米对他的结果保密，德国人没有费米的测量数据可以对照，也就无法纠正这个错误。这一点至关重要：它导致德国项目转而追求重水——一条决定性的错误道路，最终注定了德国核武器计划的失败。

如果不是那次在最后关头的保密恳求，德国原子弹项目本可能成为一个可怕得多的竞争对手——而历史或许会以非常不同的方式展开。

---

在顶尖 AI 实验室里，安全问题上存在一种真实的认知失调。他们信誓旦旦地宣称本十年内要建成 AGI。他们强调美国在 AGI 上的领导地位将对美国国家安全具有决定性意义。据报道，他们正在规划 7 万亿美元的芯片建设，而这只有你 真的 相信 AGI 才说得通（译者注：指 2024 年初媒体报道的 OpenAI CEO 山姆·奥特曼（Sam Altman）筹集数万亿美元重塑全球芯片产业的计划）。而且确实，当你提起安全时，他们会点头并承认“当然，我们到时候都会待在地堡里”，然后露出一丝似笑非笑的表情。

然而，安全上的现实与此割裂得无以复加。每当需要做出优先考虑安全的艰难抉择时，初创公司心态和商业利益就会压倒国家利益。如果国家安全顾问了解这个国家顶尖 AI 实验室的安全水平，他会精神崩溃的。

有些机密正在此刻被开发出来，它们可以用于未来的每一次训练运行，将是解锁 AGI 的关键，却只由初创公司级别的安全保护着——而对中共来说价值数千亿美元。¹² 现实是：a）在未来 12 到 24 个月里，我们将开发出通往 AGI 的关键算法突破，然后转眼就把它们泄露给中共；b）到我们建成 AGI 之时，我们甚至都没有走在让权重能防住朝鲜这类流氓行为体的正轨上，更不用说防住中国的全面进攻了。“对一家初创公司来说不错的安全”，根本就远远不够；而在对美国国家安全造成不可挽回的严重损害之前，留给我们的时间已经非常少了。

我们正在开发人类有史以来创造的最强大的武器。我们此刻正在开发的算法机密，字面意义上就是这个国家最重要的国防机密——这些机密将构成本十年末美国及其盟友经济与军事主导地位的根基，这些机密将决定我们是否拥有把 AI 安全做对所需的领先优势，这些机密将决定第三次世界大战的结局，这些机密将决定自由世界的未来。然而，AI 实验室的安全状况大概还不如随便一家造螺栓的国防承包商。

这是疯狂。

如果我们不尽快解决这个问题，我们所做的其他一切——无论是在国家竞争上，还是在 AI 安全上——都将毫无意义。

系列专题下一篇：IIIc. 超级对齐 (Superalignment)

1943 年，田纳西州橡树岭铀浓缩设施外的一块 保密宣传广告牌。

---

Footnotes

1. 剧透一点，让大家感受一下：从他们的间谍学院毕业、被派往海外之前，准间谍们必须先在国内证明自己的技能——他们必须从一名苏联科学家那里获取秘密情报。当然，泄露国家机密的惩罚是死刑。也就是说：从间谍学院毕业，意味着要挑选一名同胞送上死路。感谢伊尔亚·苏茨克维（Ilya Sutskever）推荐这本书。 ↩

2. 顺便说一句，这份起诉书极好地说明了：要绕过连谷歌这样的公司的安全防线有多容易——考虑到谷歌在安全基础设施上数十年的投入，它很可能是所有 AI 实验室中安全做得最好的。要神不知鬼不觉地偷走代码，只需要把代码粘贴到苹果备忘录（Apple Notes）里，然后导出为 PDF！

   “丁（DING）通过将谷歌源文件中的数据复制到其谷歌配发的 MacBook 笔记本电脑上的苹果备忘录应用中，窃取了这些文件。丁随后将苹果备忘录转换为 PDF 文件，并从谷歌网络上传到丁的账户 1。这种方法帮助丁避开了即时检测。”（引自 起诉书。）

   他被抓，只是因为他还干了一堆别的蠢事，比如立刻在中国创办了高调的初创公司，引起了人们的怀疑（后来甚至又回到了美国）。 ↩

3. 依据的是他们声称的、其安全等级与 兰德公司权重安全报告 L1-L5 的对应关系。 ↩

4. 我有时开玩笑说：AI 实验室的算法进展并没有与美国研究界共享，但却正在与中国研究界共享！ ↩

5. 事实上，我从朋友那里听说，字节跳动（ByteDance）基本上给谷歌 Gemini 论文署名名单上的每个人都发了招聘邮件，开出 L8 职级（非常资深的职位，薪酬想必也同样高），并用“你将直接向字节跳动美国 CTO 汇报”来游说对方。 ↩

6. 推理集群的规模很可能比训练集群大得多，因此在智能爆炸期间，会有压倒性的压力，迫使人们用这些推理集群来运行自动化 AI 研究员（并在紧随其后的时期里，更广泛地运行数十亿个超级智能）。AGI/超级智能的权重因此也可能从这些集群中被窃取。（我担心这一点被低估了，而且推理集群受到的保护会少得多。） ↩

7. 但你不能只依赖这个！硬件加密经常遭到 侧信道攻击。当然，纵深防御是关键。 ↩

8. 例如：在智能爆炸期间多出 6 个月的余地来做对齐研究，以确保 超级智能不会跑偏；在某种新型大规模杀伤性武器被发明后，通过引导这些系统专注于防御性应用来稳定局势的时间；或者，在超级智能降临、技术变革节奏快得超乎寻常的情况下，单纯留给人类决策者做出正确决策的时间。 ↩

9. 我们非常努力地防止核技术向流氓国家扩散——即使我们在核技术上相比它们规模有限的武库仍然“领先”——因为扩散可能造成巨大的混乱。 ↩

10. 《原子弹的制造》，第 509 页。 ↩

11. 《原子弹的制造》，第 507 页。 ↩

12. 当正在建设的集群价值数百亿乃至数千亿美元时，100 倍以上的算力效率提升，其价值自然高达数千亿美元。 ↩