洞见·Latent Space·2026.06.18

为什么无限 GPU 的 AI 实验室仍会失败 (Anjney Midha)

对话独立算力电网 AMP 创始人 Anjney Midha,深入拆解当前前沿 AI 实验室的 GPU 真实利用率瓶颈、为什么堆砌算力无法掩盖工程管理的缺失;拆解 AMP 模拟电力网格构建水平算力调度的逻辑;以及如何通过 RL 技术重构医疗系统的生命终期预测。

Overview 背景概览

本文译自Latent Space YouTube 频道,发布于 2026 年 6 月 18 日。

  • 栏目名称:Latent Space
  • 主持人:肖恩·王 (Shawn Wang,本期单人主持)
  • 访谈嘉宾:安杰尼·米哈 (Anjney Midha) —— AMP 创始人兼 CEO,前 a16z 合伙人
  • 访谈时间:2026 年 6 月 18 日

▍嘉宾:安杰尼·米哈 (Anjney Midha) 安杰尼·米哈是硅谷卓越的算力基础设施创业者与前沿投资人:

  • 教育与学术背景:毕业于斯坦福大学,获得数学与计算机科学学士,并在斯坦福医学院获得生物信息学硕士学位,师从 Nigam Shah 教授从事生命终期预测研究。
  • VC 投资生涯:曾任 Kleiner Perkins 最年轻的合伙人之一,后加入 a16z (Andreessen Horowitz) 担任普通合伙人,在 a16z 期间主导并孵化了 GPU 共享的 “Oxygen(氧气计划)”,并参与了对 Anthropic、Mistral AI、Black Forest Labs 等前沿团队的早期投资。
  • AMP 时代:2025 年联合创立 AMP 并担任 CEO,公司致力于构建类似国家电网的独立算力网格,实现多云和多芯片(multi-cloud & multi-silicon)的算力水平调度。

▍关于 AMP (Artificial Multiple Intelligence) AMP 是一家专注于 AI 算力调度与基础设施的水平平台型企业:

  • 核心模式:打破传统云厂商的垄断,定位为“独立系统运营商 (Independent System Operator)”,通过无损调度和协议标准化,将各数据中心闲置的 FLOPs 汇聚成高弹性的算力网,实现“算力像电力一样即开即用”。
  • 技术班底:联合创始人 Sebastien (Seb) 与 Mihai 均来自谷歌 Borg 调度系统团队,核心班底拥有丰富的 Google Brain 和 Discord 大规模网络调度经验。

▍关于 Periodic Labs Periodic Labs 是 Anjney 创立的基金孵化并投资的前沿 AI 科学实验室:

  • 联合创始人:Liam Fedus(前 OpenAI 研究副总裁、ChatGPT 核心作者)与 Ekin Doğuş Çubuk(前谷歌 DeepMind 核心科学家、材料科学模型 GNoME 作者)。
  • 愿景与业务:致力于通过自主机器人实验室与前沿物理大模型的结合,加速超导体等新材料与物理科学的研发。本期播客正是在 Periodic Labs 办公室录制。

内容提要:本期访谈中,Anjney 深度剖析了许多融资数十亿美元的实验室“空有 GPU 却无法发布产品”的工程管理悲剧。他指出部分前沿实验室的 GPU 真实利用率(MFU)甚至低于 10%,而谷歌 Borg 调度团队的 Seb 和 Mihai 正是将 Borg 的“可中断任务”信用竞价机制引入 AMP,以解决算力荒。Anjney 还分享了他个人在斯坦福医学院利用强化学习进行“生命终期预测”以优化临终关怀的使命,并对 Chatbot Arena、MatX 芯片设计、General Intuition 世界模型之争、以及如何通过“文化行动”构筑 Anthropic 的代码能力壁垒进行了精彩拆解。


引言

安杰尼: 更具体地说,如今有许多AI实验室,他们拥有充足的资金和计算资源,但仍然无法发布任何达到 SOTA (行业领先水平) 的产品。然后你会看到人员流失等现象。在我看来,问题在于文化。如果你停止采取行动来证明你所说的使命与团队和世界的对齐对你很重要,那么你的文化就会开始瓦解。

肖恩: 在我们进入今天的节目之前,我想对听众们说一句感谢。如果不是因为你们选择点击并收听我们的内容,我们就无法为你们带来如此受欢迎的AI工程、科学和娱乐内容。我们几乎每天都被赞助商接洽,但幸运的是,有足够多的你们订阅了我们,使得这一切可以在没有广告的情况下持续下去,我们希望保持这种状态。但我有一个小小的请求。你可以做的最有力且完全免费的事情就是点击那个订阅按钮。这是我唯一会请求你们的事情,对我和我的团队来说意义重大,我们努力工作以带来每周的节目。如果你这样做,我保证我们将不懈努力,让这个节目变得更好。现在让我们开始吧。

[music]

我们今天来到了 Periodic Labs (前沿 AI 科学实验室) 办公室,与 AMP (Artificial Multiple Intelligence) 的创始人兼 CEO 安杰尼·米哈 (Anjney Midha)在一起。

欢迎。

安杰尼: 感谢邀请我。

肖恩: 在谷歌,如果你利用资源,通常有两种类型的利用率需要测量。一个是节点分配,另一个是 MFU (模型 FLOPs 利用率)。因此,节点分配与利用率通常是指数据中心中有多少百分比的卡被使用。如果这个比例没有达到95%……

安杰尼: 那是没有借口的。

这没有借口,对吧?在谷歌,节点利用率低于95%被视为故障——我的联合创始人 Seb(塞巴斯蒂安·帕斯蒂尔)就是从那里来的,他在谷歌构建了 Borg X 和 Borg GQM 调度系统。在谷歌,96%的节点利用率才是应有的标准,而大多数单租户集群(Single-Tenant Clusters)根本达不到这个水平。这是其一。其次是 MFU(模型浮点运算利用率),我认为当前业界最优水平在60%到70%之间。我认为这根本上是一个领导力问题,是一个对齐问题——资助集群的人和实际部署集群的人,是否真正对齐。理论上有时看似对齐,但实际上,从资本方到管理集群的人,再到衡量产出的人,这条链路上存在太多的断层。你听说过那个"角度偏差"的比喻吗?两条从同一起点出发的射线,如果最初只偏离几度,随着延伸越来越远,它们之间的距离会越来越大。我认为很多集群的落地与基础设施就是这样——许多前沿实验室和团队在启动时没有一个清晰的方向,团队想做好,但他们被要求快速扩展而非迭代扩展,浪费随着规模扩大而迅速累积。所以,我认为答案就是集群的迭代调试与拉起(Iterative Bring-ups)。如果你与那些在半导体或 DSA(特定领域架构)行业深耕多年的人交流,这些道理并不新鲜。我不认为 AI 可以成为抛弃常识的借口。我们确实获得了前所未有的新能力,但这不意味着可以在一切方面都宣称"这次不同",尤其是在基础设施层面。常识永远不会过时。

Tips (算力集群的分配率与真实利用率:Borg 的遗产)

在大规模 AI 计算集群中,通常需要区分两种完全不同的“利用率”指标:

  • 节点分配率 (Node Allocation):指集群中被划拨给特定任务的物理节点(显卡)比例。许多传统云厂商宣称的“利用率极高”,其实仅是把卡分配了出去(占着茅坑),但显卡并没有满载运行。
  • 模型浮点运算利用率 (MFU, Model FLOPs Utilization):指训练过程中硬件实际执行的浮点运算次数(FLOPs)占芯片理论峰值算力的比例。这是衡量算法与底座工程能力的终极指标。目前业界大模型训练的 MFU 黄金标准在 60% 左右,大部分未优化的集群 MFU 甚至低于 20%(存在大量通信瓶颈和显存闲置)。
  • 谷歌 Borg 遗产:谷歌的 Borg 资源调度系统是现代 Kubernetes (K8s) 的前身,其精髓在于通过 GQM (Global Queue Manager) 等全局队列和分级竞价机制,将在线高优任务 (Production) 与离线可中断任务 (Batch/Non-prod) 混合部署在同一组物理机上,将利用率逼近物理极限。AMP 的核心架构正是继承了这套“把闲置算力动态调度给可中断需求”的系统哲学。

肖恩: [笑声]

安杰尼: 你知道,AI 的扩展并没有改变这一点。事实上,如果有任何变化,AI 的扩展应该更加重视常识和基础设施的价值,因为现在的误差幅度更小,而浪费的成本更高。而且,浪费的成本不仅仅是经济上的。我显然是个投资者,或者说我有投资背景。在过去几年里,我们正在运营一个名为 Amp 的 AI 基础设施业务。我认为在能力方面说这次不同是可以的。我们确实获得了以前没有的能力。但这并不能成为你说这次在所有方面都不同的借口,尤其是基础设施方面。所以,我喜欢黑客心态和创业者心态,这对初创企业心态来说很好。但你记得扎克 (Mark Zuckerberg) 从“快速行动,打破常规”到“快速行动,稳定基础设施”的转变。

肖恩: 更快,稳定的基础设施。

安杰尼: 更快,稳定的基础设施。我认为现在我们需要快速行动,构建负责任的基础设施 (Responsible Infrastructure)。

肖恩: 是的。

安杰尼: 他们会问,影响在哪里?昨天在我们的课堂上,General Matter(数据中心能源基础设施公司)的创始人 Scott Nolan(斯科特·诺兰) 来到斯坦福谈论能源瓶颈。他提出了一个非常精妙的想法:如果把每小时算力的边际单位成本定为4美元,那么当你要在一个新社区建立新的数据中心时,为什么不把定价调到4.50美元——将多出的这50美分,作为现金直接返还给当地社区?作为这家数据中心的算力客户,我完全愿意为此多付50美分每小时。

肖恩: 哇,是的。

安杰尼: 因为如果这意味着数据中心所在社区能够清晰地看到公共利益,我会觉得这些计算资源更可靠。据我了解,今年美国多达20%的数据中心面临风险。

肖恩: 是因为社区的反对吗?

安杰尼: 是因为没有获得他们需要的社区支持。

肖恩: 哇,这个数字真是巨大。

安杰尼: 是的。我认为我们应该深入了解这个数字。我觉得这个数字有些夸大了。这些事情有时会被过度报道。但它……

肖恩: 他们不仅关心工作机会,还关心周围的其他事情,对吧?比如他们关心电网,关心环境。

安杰尼: 许可等等。想象一下,如果你说我们在你的社区建立一个新的数据中心,并且通过新的AI交易来降低你的电费。好吧,现在我们有话可说了。

对吧?社区会说,“好吧,现在这是一笔交易。我觉得自己是这个项目的合作伙伴。”

目前,这种情况还没有发生。

肖恩: 嗯。

安杰尼: 将来会有审计和调查。当监管者到来时,我不知道具体时间。那些以 AI 发展为名、奉行"快速行动、打破规矩"哲学的人,最好做好迎接监管审查的准备。我们在获取算力资源时,从来不是这么做的。我们尽量与那些有长期良好记录的合作伙伴合作。顺便说一下,其中许多人并不是AI提供商。我认为所谓的“新型算力云厂商 (Neo-Clouds)”是一个新的类别,这更多是营销术语。美国有一些非常优秀、可靠、值得信赖的数据中心提供商,他们已经存在了20多年。

我非常喜欢这些人。他们知道如何运作。当然,他们是否在NeurIPS赞助欢乐时光?没有。

他们是否是”苦涩的教训”的产物?不是。(译者注:”苦涩的教训”即 Rich Sutton 2019 年发表的著名 AI 论文《The Bitter Lesson》,核心论点是:依靠更多算力的通用方法,长期来看总会胜过依靠人类领域知识的专用方法。)他们是否出现在我所说的”情境感知”(Situational Awareness)圈子的派对中?没有。(译者注:”情境感知”特指 Leopold Aschenbrenner 2024 年发布的同名报告及其相关 AI 安全社区。)但他们是成熟的人。

我信任他们。

他们可以管理土地,他们可以管理电力。

他们拥有管理电力与机房毛坯外壳 (Power and Shell) 的运营经验。他们有信用记录。我们坐下来进行对话。他们中的许多人住在硅谷,他们经历过互联网的繁荣和萧条周期。我非常喜欢这些人。他们是稳定的基础设施合作伙伴和思想者。我认为在计算层面有很多短期思维,这将会影响到我们。这不会是件好事。

肖恩: 您提到激励机制的对齐。我认为激励机制的对齐意味着您在一家公司中拥有完整的技术栈,例如 XAI 和 OpenAI。那么,作为一个独立的基础设施层,您如何比那些拥有完整技术栈的公司更能与您的投资组合公司保持一致?

安杰尼: 在系统设计中,存在两种架构模式:一是集成,二是资源池化和利用。提高利用率的方法通常是通过系统集成,将许多流程合并到一个节点中,或者将一个节点中的流程提取出来,在多个节点之间共享资源。我们正在构建的 Amp Grid 系统,基本上是一个计算网格,类似于电网为电力所做的事情。它是一个跨云的资源池化和利用层,实际上是与全栈集成相反的方向。它更加水平化,支持多云、多硅片。目标是让兆级浮点运算像兆瓦电力一样流动。今天,由于多种原因,这非常困难,比如到处都有闲置的计算资源池,缺乏可替代性。我们目前在调度层面和经济层面进行这项工作,但随着我们开始宣布正在进行的项目,令人惊讶的是,许多人表示他们正在研究如何在技术栈的不同部分实现计算的可替代性。作为一个网格,我们希望所有这些人都能参与进来。有人会问我,“安杰尼,你们是新型算力云厂商吗?”我会回答,“不,其实新型算力云厂商是供应商。”有时你会笑着说,作为一个风险投资家,我会说,“不,他们实际上是网格的需求方。”我们将自己视为所谓的独立系统运营商 (ISO)。如果你研究电网的历史,一旦它对许多工厂和工业参与者变得清晰可见,大家意识到资源池化是个好主意,我们应该共享发电机,而不是在后院运行半容量的发电机,就需要一个独立的实体来协调所有这些参与者。传输线路、发电设施、工厂,这种中立的协调机制非常关键。研究电网历史可以发现,最持久的电网是那些从未拥有自己资产的电网。它们通常始于长期的锚定客户,比如某个小镇的钢铁厂或制鞋厂,它们的需求不相关,钢铁厂晚上需求高,制鞋厂白天需求高。这样就可以共享资源,每个参与者都有保证的基础负载,然后通过调度高峰需求来提高全镇的利用率。历史上的黄金标准是像美国东北部的 PJM 互联电网这样的公用事业公司,它们经过多年发展成为电网的独立系统运营商。这就是我们对自己的定位。

Value (算力电网:独立系统运营商的商业模式)

从商业模式角度来看,AMP 试图在算力层面复制国家电网的“独立系统运营商 (ISO, Independent System Operator)”机制:

  • 传统云厂商的“重资产集成”:微软 Azure、AWS 等巨头是垂直一体化的“发电商兼输电网”,资产负债表极重,面临巨大的硬件折旧与区域排他性瓶颈。
  • 新型云厂商的“套利瓶颈”:CoreWeave 等新型云厂商起步于 GPU 套利,但依然面临客户续约率与定制化硬件的重资产持有风险。
  • AMP 的“轻资产调度网格”:作为不持有物理资产的中立第三方(ISO),AMP 不去购买显卡,而是通过标准化的数据传输与动态优先级竞价系统,把各家云厂商和自建数据中心的闲置 FLOPs 水平连接起来。这种轻资产的平台模式可以获取极高边际效应,且天生具备多云(multi-cloud)与多芯片(multi-silicon)的抗风险能力。

安杰尼: 从经济角度来说,这就是我们的定位。从技术角度来看,我们从调度层开始,因为负责工程的 Seb 和 Mihai(米哈伊) 在谷歌就构建了这个调度系统,而且……

肖恩: 您也有来自 Discord (网络通讯平台) 的基础设施团队。我不知道 Discord 是否是主要的身份,我只是……

安杰尼: 不,Discord 是……

肖恩: 选择一个知名的名字。

安杰尼: 我在那儿负责开发者平台。内部基础设施不是我的责任,那是由一位名叫 Mark Smith (马克·史密斯) 的出色人士负责的。是的,Discord 确实进行了资源池化。所以 Discord 实际上是一个反例。我有机会在那儿学习到很多关于全栈基础设施的知识,因为……

肖恩: 事情是这样的:

安杰尼: 是另一种架构,Discord 自行构建了其 WebRTC,因此其语音和视频基础设施是自有的。

Discord 在通信方面没有使用第三方基础设施,所有的系统都是内部构建的。为了最大化利用率,他们从全球超过2亿月活跃玩家中获取需求。这就是这些技术栈的构建方式。在系统设计中,不断出现的两个概念是抽象和组合。

肖恩: 对,还有捆绑和拆分。

安杰尼: 抽象和组合,就像垂直化和水平化。在这个意义上,Amp 是电网的独立系统运营商。我们从多个信任的合作伙伴处获取供应,规模达到约1.3吉瓦,历时4年。我们从世界上一些最优秀的研究实验室等处获取需求。我们现在正身处其中,比如 Periodic Labs 这样对长期算力有极大需求的实验室。每个实验室在电网上都有保证的基础负载,但可以根据需要灵活地在计算上进行短期波动。这大致是我在 a16z (Andreessen Horowitz) 提出的 Oxygen 计划 (A16Z 算力池共享计划)的设计,同样也是 Mihai 和 Seb 在 Google 构建的 GQM Borg X 实施方案的设计。其核心是如何保证 Google 内部团队在其基础工作负载上有足够的容量,但在需要进行研究时,如何确保有足够的资源。大约三四年前,Google 在这方面的一个重大创新是可中断任务 (Interruptible Demand)的概念。通过这种类似信用系统的机制,可以进行动态优先级排序,任务可以根据其他人投入的资源优先级进行中断。比如,一个团队负责人可能会说,我愿意为这个任务花费10个代币,而另一个研究负责人可能认为 Genie 3 只值5个代币,而 Nano Banana 2 值10个代币,因此 Nano Banana 任务获得优先权。这是一个实例。

这非常真实。Brain Marketplace 确实存在。

肖恩: 我们在播客中与 David Luan (大卫·鲁安) 讨论过这个话题。

安杰尼: 太好了。好的。很棒。

肖恩: 批评的观点是,有时候你确实需要中央指挥来全力以赴地推进某件事情。而且有时候通过信用的资本主义并不起作用。

这并不是对 Amp 的批评。我只是说这是一种曾在谷歌内部尝试过的方法,但导致谷歌错过了 GPT 的机会。

安杰尼: 我们的结构基本上与谷歌非常相似。我们以控股公司的形式组织自己。就像 Alphabet 控股公司,旗下有谷歌,也有 Other Bets(多元押注业务群)等其他子公司。我们有 Amp Holdings,旗下有基础设施业务,以及一个名为 Foundry(安杰尼创立的投资基金)的资本业务,负责孵化新的前沿 AI 实验室并进行早期风险投资。比如说,我们今年早些时候从我们的基金中向 Anthropic (前沿 AI 实验室) 投入了几亿美元。因此,无论我们觉得哪个团队在取得进展,尤其是那些推动现有实验室内部前沿的研究人员,比如 DeepMind (谷歌旗下 DeepMind),我发现有时候他们会觉得与 Alphabet Holdings 的独裁不一致,而在那时有时独裁者不再需要他们了,他们会说:“谢谢。你在这里完成了你的工作。你帮助我们度过了从零到一的阶段,出于某种原因我们将不再优先考虑你的出色的全能模型或其他什么,而是优先考虑编码。”我认为这是一种悲剧,但我理解。谢尔盖(布林)和德米斯(哈萨比斯)有权按自己的方式经营各自的事业,但这不意味着我们其他人就该坐等那些研究成果为世界自动解锁。我是说,你想想过去十年里 DeepMind 内部发生了多少非凡的研究。我,我,我的意思是,德米斯和谢尔盖这些人做得非常出色,但最终,很多研究从未见过天日。

肖恩: 或者他们只是发表论文,但从未真正投入生产。

安杰尼: 更糟糕的是,论文甚至压根不再发表——DeepMind 内部有长达六个月的禁运期。据我们了解的情况是,一篇论文出来后,只要业务团队中有人觉得"这个有商业价值",它就会被永久封存,再也见不了天日。

肖恩: 确实如此。

安杰尼: 因此,发表的东西是那些不够好的东西。所以基本上存在一个逆向选择问题。[笑声] 是的。在这一点上。

肖恩: 在 NeurIPS 上,这种抱怨很常见。就像是,“为什么我要看那些被 GDM 丢弃的论文?”

安杰尼: 我认为这是一种悲剧。我理解他们在经营自己的业务,但我认为研究被垄断会带来负面外部性。这是市场失灵,需要有人解锁这些研究。我们无法单独完成这项任务。我们只有 1.3 吉瓦的计算能力,这几乎不算什么,只相当于大约 400 亿美元的云支出。我们需要更多的资源。

肖恩: 这是一个我从未听说过的新数字。这个吉瓦数太大了。

安杰尼: 是的,需要澄清的是,我们还没有完全获得这些资源。这是我们开始确保的需求量。我想我们还没有公开确认今年我们实际拥有多少。

肖恩: 你希望达到什么目标?

安杰尼: 我认为稳定状态下,我们应该始终拥有 1.3 吉瓦的基础负载容量。对于峰值容量,我目前的估计是,在未来四年内,我们大约需要 6 吉瓦的容量,以便让我们所有的团队能够继续推进他们的前沿工作,无论是超导体的发现还是其他领域。我们现在正在进行的一项新投资是在医疗保健领域的生命终期预测。这是一个非凡的领域,能够为人们提供很多帮助。实际上,这是我在斯坦福医学院的研究生工作。我在那里的生物信息学专业学习。

肖恩: 是的。

安杰尼: 我知道我们……

肖恩: 经济学、数学与计算科学、生物信息学。

安杰尼: 我一直是个很特别的人,总是对我的专业选择不太满意。我曾经是经济学专业,然后是计算机科学专业,后来是数学与计算科学专业。后来他们决定取消这个专业,所以我把所有的课程都应用到了研究生阶段的生物信息学硕士项目中。我原以为会攻读博士学位,但最终没有完成,而是辍学去了Kleiner Perkins (凯鹏华盈)工作。不过,我很幸运能在斯坦福医学院跟随一位教授学习,他叫尼甘·沙 (Nigam Shah),他当时在研究生命终期预测。斯坦福是美国为数不多的拥有大规模纵向患者数据集的研究机构之一,我记得至少有1200万患者的数据。唯一更大的数据集是在美国退伍军人事务部。而要在那个数据集上进行深度学习等研究,当时称为 STRIDE(Stanford Translational Research Integrated Database Environment,斯坦福转化研究整合数据库)数据集,你必须是斯坦福医学院的附属人员,这也是我为什么去生物信息学系注册的原因。

当时深度学习还处于早期阶段,尼甘·沙有远见地认为可以通过生命终期预测来帮助姑息治疗与临终关怀 (Palliative Care)。在美国,至少在那个时候,超过30%的联邦医疗保险与联邦医疗补助 (Medicare & Medicaid)支出用于生命终期护理。我们在亚洲长大,所以至少我不会替你说,但我对死亡的看法与在美国长大的人非常不同。在美国,尤其是在基督教传统占主导的西方社会,死亡被视为一个终点,常常伴随着审判日等观念。我们看待死亡的方式充满了终结性。在印度文化和印度教文化中,死亡只是众多生命旅程中的一步。

肖恩: 佛教也是如此。

安杰尼: 你是佛教徒,对吧?所以在这方面,死亡是众多生命旅程中的一步。我在印度南部的城市金奈长大,当人们去世时,人们会在街上跳舞。会有一个游行队伍,将遗体送去火化,家人会庆祝,有鼓声等。这是因为我们相信你将会转世,你已经从此生的责任中解脱,现在开始你的下一个旅程。这就像去上新的大学一样。所以,当我作为本科生来到这里时,发现医疗系统是基于死亡是终点的假设而运作的,这对我来说是非常陌生的。我们必须将死亡视为一个终点,并尽量推迟它,认为它是不好的。当时,美国的临床决策支持是一个非常原始的领域。即使在今天,美国的医生在诊断出绝症时,通常会告诉你,你的生命期限在6个月到6年之间。你该如何处理这些信息?

误差范围如此之大,以至于在不确定时期,我们往往依赖文化。当文化认为这是件坏事时,我们就会努力延长生命。从系统的角度来看,医生往往觉得需要提供更高的标准,因为生命终期诊断 (End-of-life Diagnosis)总是存在不确定性。如果给患者提供了错误的诊断或建议,可能会被起诉为医疗事故诉讼 (Medical Malpractice),甚至可能被吊销执照,这对职业生涯是灾难性的。相比之下,在没有这种情况的国家,医生通常会给出明确的建议,他们会说:“这是你的情况,文献显示你可能还有这么长的时间。我的专家意见是你是个例外。”这赋予了患者权力,因为患者可以说:“我信任我的医生,他们说我平均还有6个月的生命,但如果我做这些事情,由于我的特定倾向或遗传历史,我可能还有机会。”这比依赖宗教、文化、精神更科学。然而,由于医疗事故诉讼的阴影,医生从未给出明确的建议。

肖恩: 没错。

安杰尼: 所以你会说:“好吧,医生,让我们试试所有的方法。”然后你开始一整套的治疗方案。

[喘气]

药物和疗法。然后你常常要在医院里待上好几周。这会降低你的生活质量。当你的生活质量下降时,你最后的几天不是和家人一起做你喜欢的事情,而是在医院的病床上度过。最终,这占了30%的联邦医疗保险与联邦医疗补助费用。这对病人来说是更糟糕的,医生感到很糟糕,美国纳税人也要支付巨额的费用。这就是为什么斯坦福大学的教授Nigam Shah说:“老实说,如果有...我当时和他坐下来谈话,我当时是个21岁的年轻人,我说‘我想解决一个大问题。’他说,‘大问题是生命终期护理。’”于是我们尝试用深度学习来研究这些病人的数据集,看看能否让AI系统做出比人类更精确的生命时长预测。如果我们能达到足够高的精确度,就能赋予病人更多的自主权。事实证明,这项技术是可行的。一旦你有了数据集,比如强化学习就能发挥作用。老实说,即使是回归模型也能奏效,不需要太复杂。我们一半时间只是在运行非常简单的神经网络。今天,我们用强化学习能做到的事情是非凡的。问题在于,过去和现在都是监管问题。因为你实际上不能将错误的临床诊断责任从医生转移到AI系统上。当时我感到非常失望,大约10年前,12年前,因为我觉得我没有资源去影响监管。今天我很幸运,我处于一个不同的位置。我年纪大了很多,所以我花了很多时间在下一个孵化项目上,即如何通过训练AI模型来进行更精确的生命终期预测,从而解锁病人的自主权。

肖恩: 哇哦。你还在专注于这个问题吗?

安杰尼: 在过去的14年里,我每天都无法将这个问题从脑海中抹去。这是我愿意为之奋斗的事业。我其实更希望不要死。

肖恩: 是的,没错。

安杰尼: 但我认为有两个应该在美国成为两党共识的问题,一是如何通过科学来赋予病人做出正确临床决策的能力,从而减少纳税人的负担。科学和AI在这里可以发挥作用。第二个是净正面数据中心。我认为这是训练足够好的AI模型以帮助生命终期患者的最大瓶颈。这两者实际上是同一扩展瓶颈曲线的两个方面,我们成立了Amp作为一个公共利益公司 (Public Benefit Corporation)。我和我的妻子,你见过她。

她的热情在于教育。她的家庭有着悠久的教育和物理学家传统。因此,这门课程是我努力不再成为家族中的异类,成为一名教育者的尝试。但如果我不从事教育工作,我会在政治光谱上或作为研究人员在某个实验室中致力于这两个问题。我希望如果有人在听这个播客,如果他们对这两个话题中的任何一个感兴趣,我很想听到他们的声音。我们可以在节目说明中分享联系方式,我们正在寻找人们加入这两个任务,无论是在政治方面还是在医学研究方面。

肖恩: 你提到这是你想要形成的一门学科。你称之为前沿系统,或者称为单人前沿实验室。理想的名称或形式是什么?它的使命是什么?

安杰尼: 课程吗?

肖恩: 您正在探索的学科是什么?课程名称是前沿系统,但对我来说,也许可以用一句话概括为反浪费,避免浪费GPU、浪费人力和医疗资源。但是否有更广泛的主题可以更简洁地概括?

安杰尼: 是的,从工程的角度来看,基本上就是输出最大化 (Outputmaxxing)。

这是一个输出最大化的部门。

肖恩: 利用我们现有的资源。

安杰尼: 没错。我非常相信最佳结果。我认为无论是在美国还是其他国家,我们正在失去对细节的重视。在人工智能领域也是如此。虽然“苦涩的教训”(Bitter Lesson)依然成立,但这并不意味着你可以随意将50万张 GB300 显卡扔给配置不佳的模型的扩展中,浪费大量计算资源。这也不意味着最优方案需要50种不同的架构而缺乏标准化。Anthropic之所以能取得非凡的速度,就是因为他们选择了Transformer架构,并决定在此基础上加倍努力。现在,幸运的是,这个领域有足够的投资,我们可以负担得起其他架构,但当时的投资过于分散于其他架构。这在某种程度上解锁了扩展。因此,我认为我们都有责任在全球范围内利用人工智能这一新能力来实现输出最大化。如果我在斯坦福成立一个新部门,根据我想要的技术或模糊程度,我可能会称之为对齐部门 (Department of Alignment)。

肖恩: 您知道,这是一个被过度使用的术语。

安杰尼: 但对齐确实是一个难题。

我认为,当你解锁它时,全栈对齐在任何组织和系统中都是非常困难的。比如在一家风险投资公司,如果你能在有限合伙人、创造价值的创始人和最终拥有IPO股票的公众之间实现全栈对齐,那将是一个不断给予的礼物。当你研究这些系统的历史时,它们通常从小规模开始,此时反馈回路非常紧密,从而实现对齐。然后,随着你尝试扩大规模,劳动分工和专业化增加,每一步都会增加抽象化。而在任何有API接口的地方,都会有损失,存在沟通损失。因此,我认为一个非常酷的事情是,我们能否找到一种方法,作为一个工程学科,既能扩展又不失去对齐,不会有信息传输损失。

肖恩: 我是说,标准。

安杰尼: 标准是一种方法。另一种方法是你拥有全新的能力。比如我们在这里尝试的是发现新的超导体。室温超导体将是能量的无损传输机制。我是说,我们会有飞行汽车。

是的,在拥有新的室温超导体的几年内。所以,我认为这两者要么是你必须在协议或API规格上进行标准化,以实现无损通信,要么是你可以引入一种全新的能力,解锁如此多的资源,以至于标准化不再重要,因为你只是解锁了全新的能力。

这就是我这些天花时间思考的事情(笑)。

肖恩: 我认为,每个希望实现规模化并输出最大化的基础设施人员最终都会考虑这个问题。我们没有时间深入探讨,但我们做了一期与 SF Compute (算力非营利撮合机构) 的节目,他们正在尝试将算力标准化为期货合约。

我不知道这进展如何,但在某个时候,这将成为其中的一部分。

安杰尼: 我认为埃文·康拉德 (Evan Conrad) 非常出色,而SF Compute是我希望能够加速发展的那种努力。因为通常情况下,这些交换非常难以实现,很难自我启动。因为各方之间存在许多低效之处。在基础设施中存在信任边界的低效,因为你不信任堆栈的一部分会给另一部分提供可见性。资本市场也存在低效,运营效率也有待提高。因此,如果你能向系统注入大量的计算需求或供应,那么你就可以加速这些新的飞轮。因此,我希望有一天,或者很快,如果SF Compute有多余的容量,他们只需连接到电网,就能从我们这里获得大量的需求。另一方面,如果他们有大量的需求但没有供应,他们也可以连接到电网,这是一种双向协议,他们可以连接到我们的容量。我认为我们离这个目标并不遥远。我们目前的实现主要通过一组实验室、大学和一些可信的合作伙伴,他们都觉得自己在某种程度上是一致的。但我们的希望是让它成为一个开放的协议,任何人都可以连接。

肖恩: 连接需求还是连接供应?听起来主要是需求。你不会想要提供需求。

安杰尼: 两者都有。不幸的是,过去六周发生的情况是,我们原以为今年年底会有大量的剩余容量,但这些都消失了。

肖恩: 需求正在爆炸式增长。

安杰尼: 是的,全都消失了。所以,我的短信中充满了朋友的信息,我是说,我们认识很多这些人。这些是在旧金山筹集了数十亿美元的创始人,他们问道:“未来几周你有没有可能提供15个节点?”

肖恩: 对于非Nvidia的情况有什么范围呢?你有苏姿丰 (Lisa Su) 和莱纳·波普 (Reiner Pope) 也来了。因此,对于更高性能、替代架构等有很大的需求。同时,这会影响你的标准化。

安杰尼: 我不这么认为。实际上,Reiner是一个很好的例子。Reiner 是 MatX (芯片设计初创公司) 的 CEO和创始人。我今天早些时候邀请他来课堂做了一次客座答疑(Office Hours)。他提出了一个我之前没有考虑过的见解,就是当他们决定选择数据中心的标准时,他们选择了Nvidia的参考架构。因此,MatX的芯片可以插入任何有Nvidia启动计划的站点。

肖恩: 那只是软件,不是硬件。

安杰尼: 从输入输出的IO角度来看,它与Nvidia机架的占地面积相同。

肖恩: 这很有道理。

安杰尼: 从我所能看出的地方,他们在系统软硬件协同设计 (Co-design)上进行了许多创新。这是可以获得很多收益的地方。所以,他对我说:“安杰尼,你知道,当你在建立一家新的芯片公司时,有太多的工作要做,不能在每个方面都进行竞争。”所以,我的问题是,“你正在开发这款新芯片。他们的明年流片 (Tape-out)。你会与谁合作来托管这些芯片?”他说,“谁愿意托管就和谁合作,这不是我的重点。”我问他,“但是你是如何决定的呢?回到之前的系统设计问题,他决定不想成为一个完全整合的芯片供应商。他们关注的瓶颈是逻辑裸片 (Logic Die)。他认为通过软硬件协同设计 (Co-design)可以大幅提升性能。但这意味着你需要将数据中心的部分交给生态系统的其他部分来托管他的芯片,以便将性能提升传递给客户。因此,你有了另一个抽象层,可能会有损失。所以我问他如何防止损失。他说,“我选择了Nvidia的标准,因为我不想重新发明轮子。我想利用现有的协议。Nvidia的参考架构是公开的,Jensen实际上让像Reiner这样的人成立芯片公司MatX。我不认为他们是竞争对手。计算需求如此之高,我认为Nvidia无法满足生产需求。我们需要更多的芯片。我认为MatX做得非常聪明,他们选择不在数据中心设计上创新,因为Jensen已经做了所有的艰苦工作。我们可以在其他地方创新。我认为这非常健康,这就是我们如何解锁新的瓶颈。在我看来,这些芯片团队如MatX,意识到软硬件协同设计 (Co-design)是关键,他们的主要瓶颈是信任边界。要做好软硬件协同设计 (Co-design),你需要尽早了解下一代模型,因为流片需要两年。如果当我将芯片推向市场时,你的模型架构已经改变,我就会陷入困境。当他在谷歌内部时,他坐在Gemini团队旁边。

肖恩: 他的联合创始人是Palm团队的一员,我想。

安杰尼: 是的,完全正确。所以,当你在谷歌的信任边界内时,你的系统软硬件协同设计 (Co-design)循环非常紧密。当你作为创始人离开时,你面临的最大风险之一就是你现在在信任边界之外。所以,我喜欢做的是帮助那些可以帮助我们为独立生态系统解锁更多容量的芯片团队获得信任。因为如果我从早期就参与到实验室的金融孵化中,并且有幸与Anthropic合作,然后我在Mistral的董事会中,并且在 Black Forest Labs (黑森林实验室,以开源 Flux 模型闻名) 开始。我想此时我参与了六到七个不同的团队。

Facts (软硬件协同设计与独立芯片的信任边界)

安杰尼在此处揭示了造芯初创公司(如 MatX)离开大厂后面临的残酷现实——丧失信任边界 (Trust Boundary)

  • 协同设计的生命线:在芯片行业,流片 (Tape-out) 需要两年的漫长研发期。在此期间,前沿大模型的架构(例如从 Dense Transformer 转向 MoE,或者激活函数、注意力机制的变化)可能会发生剧烈突变。如果芯片设计无法实时匹配最新模型,流片出来即意味着“出生即淘汰”。
  • 围墙花园的特权:在谷歌或苹果内部,TPU 软硬件团队之间拥有绝对的信任与透明度(如 Reiner Pope 在谷歌可以与 Gemini 团队共享同一个饭堂,紧密协同设计);而一旦离职创业,就退化成了“外部供应商”,失去了下一代模型架构的第一手信息。
  • MatX 的应对路径:为了突破这种不对称风险,MatX 选择在物理规格上 100% 兼容英伟达参考架构,但在内部逻辑裸片(Logic Die)上做大模型专有的 SRAM/HBM 混合软硬件协同设计。同时,通过像安杰尼(兼具 Anthropic 早期资方、Mistral 董事等多重身份)这样的中介来跨越信任边界,获取前沿实验室的模型架构设计可见性。

肖恩: 只有六个?我原本心里想的数字是13个。

安杰尼: 不,我一次只会深入研究一个。

肖恩: 你是Arena的创始CEO吗?

安杰尼: 不,那不是我。

肖恩: 是过渡期 CEO。

安杰尼: 那只是约5个月的过渡性安排。当时 Waylon Li(韦伦·李)和 Anastasios Angelopoulos(安纳斯塔西奥斯·安杰洛普洛斯)刚刚博士毕业,还不需要专职产品团队。我帮助招募了工程、产品和设计的负责人,但安纳斯塔西奥斯始终才是那家公司真正的 CEO。我只是临时补位而已——算是当了5个月的"CEO 实习生"吧(笑)。

肖恩: 我采访过他。他口才非常好,我想他曾是辩论冠军,但同时他也非常擅长量化分析和数学,这真是一个难得的人才。

安杰尼: 你看看他的成果,他是一个产出最大化者。在他博士毕业时,他已经发表了比很多年龄是他两倍的人更多的工作,并且引用次数也很高。同时,他已经开始了一个名为LM Arena (即后来的 Chatbot Arena)的项目,作为副业被数百万人使用。我一次又一次地意识到,风险投资者在将人视为动态个体方面很差劲。他们总是想把你放进一个框里。这就是你的事情。

所以,我第一次被介绍给安纳斯塔西奥斯 (Anastasios) 时,有人告诉我,他很了不起,但你知道,他是个研究员。

我当时想,他是个研究员是什么意思?他不是CEO,也不是创始人。确实不是CEO。我当时想,你疯了吗?你见过达里奥·阿莫代利 (Dario Amodei) 吗?达里奥是个科学家,他从零开始,马上就要成为一家万亿美元公司的领头人。名义上来说,成为CEO并不难,但成为一个优秀的CEO很难。成为一个伟大的CEO实际上需要一种科学家在其领域顶尖的表现。成为一个有竞争力的科学家非常困难。在过去的20到30年里,要在学术界发表论文并在像伯克利这样的地方成为顶尖人物,你就像是一个明星运动员。你是心智的运动员,并在最高水平上表现。无论你是安纳斯塔西奥斯还是伯克利的韦伦,或者是 Stable Diffusion 的主要创作者、Black Forest Labs(黑森林实验室)创始人罗宾·朗巴赫 (Robin Rombach),或者是在创立 Mistral AI (法国前沿 AI 实验室) 之前在 Meta (脸书母公司) 创造了 Llama 的纪尧姆·兰普尔 (Guillaume Lample),获得资源、赢得组织信任并发表成果所需的人类领导力是巨大的。我会整天资助这样的研究员。

对吧?如果他们已经对这个领域做出了贡献。如果他们已经达到了 SOTA,他们就是明星运动员。如果他们还没有达到 SOTA,他们仍然可以成为优秀的CEO,但我发现失败的模式是他们不想成为CEO。他们主要想发表论文。这也没问题。我们在Ampere Grid所做的一件事是将我们多余的计算资源捐赠给非营利组织,比如大学实验室。我们划出了一些H100,但我确实认为大学校园里正在进行着非凡的研究。我的岳父是一位物理学家,他是一位教授。在物理学领域有着非凡的工作,我们需要这些。但如果你想成为CEO,你需要愿意在科学之外变得非常有对抗性。在科学界,一些最优秀的研究员对于他们的信念非常有对抗性。这个架构是正确的。要成为一个伟大的CEO,你基本上必须愿意在整个层级上进行对抗。

肖恩: 对你自己的团队。

安杰尼: 对你自己的团队,招聘,客户。我会说,基本上对所有人。

肖恩: 是的,是的。我明白,我感觉在我的工作中也有一些类似的经历,但我无法想象达里奥所经历的那些重大挑战。

安杰尼: 这很不错。

我认为这些挑战与你感受到的并没有太大区别。挑战是个人的成长向量。对你来说似乎微不足道的挑战,比如主持这个播客,与人交谈。你是一位出色的沟通者。在这次对话中,你已经从我这里挖掘出了比大多数人更多的信息。我在过去两周参加了12个播客。

肖恩: 我们见过很多次面,彼此之间有了一些基本的信任。我知道你了解我做了功课,我知道信任对你来说是非常重要的。

安杰尼: 我认为信任在于一致性,你我在这个社区中已经相识多年。我不记得我们第一次见面是在新奥尔良的NeurIPS会议上,你还记得吗?

肖恩: 我记得。天啊,是雷科 (Raiko) 安排的。

安杰尼: Raiko真是太棒了,他安排了这次午餐会。

肖恩: 是的,我当时想,这个Discord的人是谁?我想,好吧,但是……

安杰尼: 不,你不是这样的。你做了一些投资。你当时没那么客气。你当时想,这个风投是谁?

肖恩: 你当时觉得……不,我是那样的吗?天啊,我很抱歉,我当时不知道你是谁。真的很抱歉,但你知道吗?当时介绍得不好,我确实不知道你是谁。

安杰尼: 你看,这就是关于背景的事情,对吧?但是后来我听到了你的口音。我问,你是新加坡人吗?你说是的,我说我在新加坡上过高中和初级学院。然后气氛就缓和了。

肖恩: 是的,是的,是的。

安杰尼: 但是在科学界,有时候对于那些没有情商的人来说,风险是非常高的。

教练和指导,对吧?要在科学上产生影响,你通常需要成为一个在情感上与想要影响的人高度协调的人。因此,对你来说自然而然的事情,对其他人来说实际上是一个高风险的事情。所以我不会假设达里奥比你更紧张。你会惊讶地发现,有时世界上一些最大领导者面临的问题与你的相似且微不足道。这是我从这门课中学到的。客座演讲者有萨姆·奥特曼 (Sam Altman)、萨蒂亚·纳德拉 (Satya Nadella)、黄仁勋 (Jensen Huang),他们就像科切拉音乐节 (Coachella)音乐节的头条人物。我很幸运,这些人中有些人在过去几年里指导过我,或者我与他们有过商业往来。当你去掉表演性质的东西以及你可能从新闻或推特上对这些人的假设时,我们都是人类,都在努力相处。这个时刻的特别之处在于,人工智能正在迫使人们重新审视他们对世界运作方式的假设,回到基本原则或重新教育自己。比如我上周在德克萨斯参加一个活动时遇到一个人,他说:“安杰尼,我遇到了这门课。你怎么看实时动作预测模型 (Real-Time Action Prediction Models)?”当他们问我这个问题时,我感到非常高兴。我知道他们做了功课,挑战了假设。他们没有问我“你怎么看世界模型 (World Models)?”而是问“你怎么看实时动作预测模型?”世界模型,别误会,很酷,但你我都知道那是一个有时不够精确的抽象层。

肖恩: 对吧?可以说是。

世界模型有四种不同的类型。

安杰尼: 没错。[轻笑]

肖恩: 顺便说一下,我们之前已经做过一期关于 General Intuition (具身智能实验室) 的节目,那期非常专注于……

安杰尼: 哦,太好了。我很喜欢他。他很出色。我喜欢那些完成这种级别工作的人,他们意识到自己并不与世界认为他们在竞争的人竞争。

肖恩: 是的。因为他们不在那个类别中,他们专注于他们想要做的具体事情。

安杰尼: 他们专注于他们的使命,并对他们试图解决的问题有系统的理解。当有人说,“我也在研究实时动作预测模型。”皮姆·德·维特 (Pim de Witte) 会说,“哦,我喜欢那个人。我可以向他们学习。”但当他们说,“哦,那个人是世界模型的人。”就会想,“啊,哪种世界模型的人?”但大多数情况下,他们只是想弄清楚自己是否在浪费时间,因为我们没有足够的时间。比如,皮姆非常喜欢我合作的另一家公司,我们谈过的叫做Black Forest Labs的公司,他多次提到他认为Flux正在做的事情非常酷。安迪·布拉特曼 (Andy Blattmann) 来上课演讲。我反复发现,对于那些完成工作的、能够对前沿研究的实际情况有足够精确理解的人来说,团结感仍然真实存在。但有时当你不得不将技术复杂性抽象为商业术语时,这种团结感会丢失,然后风险投资者会问,“你如何与那家世界模型公司不同?”我会说,“我该如何开始解释这些内容呢?”

Inverse (世界模型与实时动作预测的学术派系分歧)

安杰尼在此处以皮姆·德·维特(General Intuition 创始人)为例,点出了学术界与风投(VC)媒体界在 AI 概念上的严重错位:

  • 媒体与风投的粗暴分类:在商业和媒体的宏大叙事中,“世界模型”是一个包罗万象的热门词汇(如 OpenAI Sora 宣称的物理世界模拟器)。风投会愚蠢地询问:“你们和那家世界模型公司有什么区别?”
  • 一线研究员的精细分化:世界模型至少有四种不同的底层技术路线。像 General Intuition 这样的一线研究团队,其核心在于将“世界模型(预测世界如何变化)”与“实时动作预测模型(感知环境并即时输出操控动作)”剥离,利用高频的第一人称游戏数据来做空间与时间维度的精细建模。
  • 逆向思考的局限性:尽管“动作预测模型”通过直接生成动作绕过了宏大而模糊的“全知世界模拟”,但其对特定场景高频交互数据(如 Medal.tv 的游戏画面、机器人关节传感器数据)的依赖度极高。如果环境泛化度(如物理反射、重力干扰)超出其数据覆盖,这类轻量动作模型的稳定性可能出现硬断崖。

肖恩: 这种不对齐。我认为听众能够感受到,像你这样的人在实际操作中的感觉,而不是像记者那样必须将每个人放在一个大致的类别中,创造一种竞争的叙述,谁今天赢了,谁落后了。对我来说,这种“赢”的概念很奇怪。

安杰尼: 你确实想要赢。你想要竞争,你想要和我们竞争。

肖恩: 不,我认为你想要引领。我认为你想要引领。是的,所以你想要推动前沿,推动技术的最前沿。你想做一些前所未有的事情。你想要获取价值,但不想获取过多的价值,以至于让人觉得你偏离了使命或试图做对世界最好的事情。你想要获取足够的价值,以便你可以继续创新,对吧?我认为人们想要引领。他们并不真正关心输赢的概念。你知道,我很喜欢黄仁勋。他是一个领导者。他在 Dwarkesh Patel (德瓦凯什·帕特尔) 的播客中谈到的心态,他说:“我没有以失败者的心态醒来。”我觉得这很棒,因为他是个工程师。Dwarkesh做了很多工作。所以即使对我来说很明显,他们在谈论同一件事,他们只是错过了对方。就像他们在说,黄仁勋有一个关于行业运作的五层蛋糕抽象,而Dwarkesh在那个播客中更多的是一个预训练、中程训练、后训练系统循环的概念。这只是他与谁交谈的一个因素,对吧?这很明显。这是抽象,思维模型,整个问题是,世界上很多问题都是通过类比推理造成的。

然后是那些隐形的假设。

是的,我说过,现在是人类历史上对第一性原理思考者 (First Principles Thinkers)来说最好的时代,因为你认为会发生的一切现在实际上正在实现。

安杰尼: 没错。[笑声] 风投界在这方面是出了名的,尤其是在不确定时期,人们往往会依赖于过去时代被认为是真理的公理,并自信地宣称它们为真理,但实际上并非如此。区分启发式规则与公理 (Heuristics vs Axioms)之间的差异非常重要。公理是从内部一致性的角度可以被证明的,而启发式规则则是一种捷径。天啊,过去几年里,我遇到过太多人,他们用启发式规则当作公理来判断人,判断哪些公司会成功。我遇到过太多人说:"哦,Anthropic 嘛,他们不过是在训练模型。"这种误解到今天还在流行。

肖恩: 他们想成为B2B SaaS。

安杰尼: 是的,他们认为如果从长远来看,或许可以,但你到达那个结论的方式非常重要,你不能就这样轻易地否定别人。事情是这样的,Anthropic基本上在去年的十月实现了快速起飞 (Takeoff)。那次训练运行……

肖恩: 无论是F37?

安杰尼: 我现在忘记具体数字了,但无论那个检查点是什么……

肖恩: 我们在 Cognition 见过这种情况。

安杰尼: 是的,对吧?对于我们社区中的人来说,尤其是在后训练完成并于12月发布后,你可能已经意识到了。

肖恩: 我可以插个问题吗?我不知道你是否有看法,也许你没有。我认为首要的问题是 Anthropic 是如何破解编程的,对吧?因为 Claude 1 和 Claude 2,虽然是其中的一部分,但并不算大事。主流的假设是,这是一个幸运的骰子结果,然后被放大了。就像它最初稍微好一点,但他们看到了,就决定真的投入。

安杰尼: 我曾经有一个非常让人烦恼的老师。

我曾就读于印度的利希谷学校 (Rishi Valley School),这是一所寄宿学校,位于一个350英亩的鸟类保护区内。在那里,我度过了七年没有技术的时光。有一位老师,我不会提他的名字,但我非常讨厌他对我说的一句话:“幸运总是眷顾有准备的头脑。”这是一句常见的格言,但他每次说这句话的方式总是让我感到不快。因为我一直是那种不需要太努力就能取得好成绩的学生。毕竟,只要你在高中和初中时稍微用心,学习并不算太难。有一次,我得到了80%的成绩,他就一直对我说:“你没能拿到95%以上的成绩是因为你不够幸运。”我会反驳说:“你什么意思?”因为我觉得我应该得到那个成绩,有时我甚至会和他争论。他会说:“你没有准备好的头脑。如果你想再次幸运,就必须做好准备。”有一次,我在某个科目上得到了95或96分,我觉得自己理所当然地应该继续保持这样的成绩,但我没有做到。他又说:“幸运眷顾有准备的头脑。你上次是幸运,但你必须保持准备。”当时我不理解他的意思。现在我年纪大了,才明白这些成年人确实懂得一些道理。Anthropic公司在过去四年中一直是最有准备的公司。因此,当合适的上下文数据出现时,合适的开发者开始提交合适的上下文差异对比 (Context Diffs)时,你可以说他们是幸运的,但如果你问我,他们在过去四年中一直以某种偏执的态度做好了充分的准备。你要记得,他们在早期阶段很难起步,他们必须以更少的资源做更多的事情,因此你必须做好准备以达到极高的效率。

肖恩: 是的,他们的消耗数据与 OpenAI 相比。我曾写过相关内容,但他们在效率方面要高得多。

安杰尼: 这甚至不是……

肖恩: 完全不是这样。但这很明显,对吧?如何为世界输出最大价值。他们已经做好了准备。你可以称之为运气,但……

安杰尼: 幸运总是眷顾有准备的头脑。

肖恩: 我在回顾你的一些旧讲座时注意到,你提到数据,人们认为它是护城河,但实际上是文化,是团队。实际上,这才是决定一切的终极护城河。你可以在此基础上不断积累。

你是说文化是最终的决定因素。

安杰尼: 是的。但文化这个东西非常脆弱。我发现真正称得上护城河的东西其实很少。护城河是一个很好的概念,但在现实中,你必须不断地补充你的文化。你知道,Ben Horowitz (本·霍洛维茨) 在周二的CS183课程中是演讲者。我问了他一个关于文化瓶颈的问题。

团队,因为有很多AI团队。

肖恩: 他的书《创业维艰》(The Hard Thing About Hard Things)。

安杰尼: 《创业维艰》(The Hard Thing About Hard Things)的道理是相通的。但更具体地说,如今有许多AI实验室资金充足,也追求达到 SOTA 等。而我的诊断是,这是文化的问题。所以我问本·霍洛维茨,他是AI实验室最积极的投资者之一。他提到的一个观点让我印象深刻。当我在A16Z工作时,我会预订一个会议室,而这个会议室靠近厕所,因为这样我可以在Zoom会议之间最快地去洗手间。

肖恩: 天哪,我要把洗手池放在马桶旁边进行优化。

安杰尼: 好吧,没关系。这并不健康。

回想起来,这可能是信息过多。不过,无论如何,在会议室外的墙上有这样一句话:“文化不是一套信念,而是一系列行动。”这句话出自日本哲学家武士道。如果你不再采取那些你告诉团队和世界对你重要的行动,那么这实际上就不是一种护城河。我会说这是一种非常脆弱的东西,需要像花园一样每天精心维护。但如果你能找到维护这个花园的系统,我认为最终归结于了解自己,因为当你真实自然时,你会做出看似毫不费力但能强化你文化的取舍。这样一来,这就成为了其他人难以赶上的事情。在Anthropic,从第一天起,就有一种使命般的热情和信念,认为这些能力将会扩展。这些系统是随机的,而非确定性的,会有误差范围。直到我们破解可解释性之前,都会存在风险。

在某个时刻,人们将不再仅仅使用Claude进行编码,而是会在某些关键任务中使用它,这时可能会出现错误,导致人们指责他们。他们希望站在历史的正确一边,承认这是一项强大的技术,并认为它将改变世界。他们希望以非常谨慎和科学的态度对待这一事实,即这些是统计模型,这就是统计学的工作原理。最终,当你训练神经网络时,它只是一个统计系统。我认为这种对安全性的重视是重要的,尽管在早期阶段它可能显得像玩具,有时你可以说Anthropic完全夸大了风险,比如两年前他们说不发布Claude 1或其他版本时。好吧,也许事后看来是这样,但事后看来总是清晰的。当时,他们不知道这个模型会如何被使用,对他们来说,如果有人说你们不负责任,这会写出一个错误,相关的责任是巨大的。那么,你如何防范这种情况呢?每天都要强调安全,安全,安全。当你开始偏离这个方向时,让团队和世界监督你。我认为这随着时间的推移会成为一种护城河。在某个时刻,这种护城河会受到挑战,变得脆弱。我希望它能够持久,因为这就是创始人掌舵的美妙之处。他们可以做出非常艰难的权衡以实现使命对齐。最困难的部分是在最初的日子里,当你没有一群人共同经历困难、压力、危机时,你的文化没有被清晰地定义。这是我现在担心的地方。因为有太多资金流向这些实验室,没有艰难困苦。

肖恩: 没有21 次被拒 (21 Noes)。

安杰尼: 没有21次拒绝。而从后见之明来看,这对Anthropic来说是一个特性而不是缺陷。许多人拒绝了,许多人说:“抱歉,我们已经是OpenAI的投资者。”这是一种竞争防御。它迫使你真正理解你愿意为之付出一切的目标是什么。什么是P0?他们从第一天起的P0就是编程。其背后的机制是,如果我们破解了编程,我们就能破解AGI。我们的使命是AGI,我们希望安全地实现这一目标。如果我们专注于编程,这是一种普遍强大的能力,可以加速计算机上的各种工作。如果我们能加速计算机上的各种工作,我们就能实现AGI。因此,他们不得不拒绝很多其他事情。在这里,超导性是使命,编程不是使命。所以,我们使用Claude。我们会使用Claude。我们不在乎这个。使命定义了一切。我认为,那些筹集资金过多过快过早的团队,不需要定义P0,因为当你资源稀缺时,P0是唯一重要的。

你必须投资的那些文化最终往往是最脆弱和易碎的。它们几乎无法顺利起飞。

Value (武士道哲学:稀缺性塑造的文化护城河)

安杰尼在此借用本·霍洛维茨引用的武士道格言“文化是一系列的行动”,深刻阐明了初创公司真正的商业护城河来源:

  • 文化源于取舍与牺牲:在 Anthropic 早期面临巨大资金短缺和“21 次被拒”的生存危机时,资源稀缺迫使团队将唯一的筹码全部押注在“编程 (Coding)”这一 P0 级底层能力上。这种极端的资源倾斜,反而构筑了后来 Claude 3 在代码能力上的绝对领先优势。
  • 过度资助的毒药:对于当今许多融资数十亿美元的实验室而言,充沛的现金消除了物理上的痛感,使得创始团队不需要被迫做出痛苦的选择(什么都想做,什么都是高优先级)。缺乏生存硬壁垒的团队,其组织文化就像未经过大火洗礼的陶器,在工程落地的碰撞中极度易碎。
  • 行动大于信念:使命和对齐不是写在员工手册上的漂亮话,而是看团队在商业利益冲突时放弃了什么。Anthropic 在早期由于对“模型安全性”的执念而多次延迟 Claude 的发布,虽然在当时饱受争议,但这套“负责任的行动”才是维持其长期文化护城河的护手霜。

肖恩: 那么,既然我们在这里,就以 Periodic Labs 为例,毕竟我们今天就在这里。好的。他们自我施加的限制或困难是什么?

安杰尼: 你在这里?你疯了吗?不。好吧,从技术层面来说,这就是物理学。这就是现实。

肖恩: 我的意思是。

但是,有没有其他公司在构建类似的东西?

安杰尼: 是的。当时,利亚姆·费杜斯 (Liam Fedus) 是 ChatGPT 的共同创建者。而多古斯 (Ekin Doğuş Çubuk) 在 DeepMind 时,直接向德米斯·哈萨比斯 (Demis Hassabis) 汇报工作。他创建了GNoME,这是DeepMind推出的最重要的工具之一。当时,我是斯坦福大学物理系的访问科学家,我们开始对前沿模型在物理和科学能力上的表现进行基准测试,结果并不理想。这些模型擅长于总结论文,但如果你让它们分析凝聚态物理实验室的科学数据,它们表现得很糟糕。我当时在斯坦福的凝聚态物理小组工作。12个月前,这些模型并不受欢迎。你知道,公关方面我本可以……我不会详细说明,但几个月前,有人说他们想加入公司,但由于某些原因,他们选择了其他提供更高薪水的工作。他们违背了承诺。然后我们取得了技术突破,开发出了达到 SOTA 的系统。

肖恩: 好的。

安杰尼: 我很兴奋。

肖恩: 是的,是的,我们会讨论这个。我们将专门做一个关于Latent Space的部分。

安杰尼: 然后他们想回来。我说:“不,绝对不行。如果你来这里,你已经有过机会了。”

肖恩: 因为这实际上是关于文化的。

安杰尼: 当然。

肖恩: 原则,是的。

安杰尼: 你知道,我相信第二次机会等等,但时间需要来治愈。有些伤口会留下深深的伤痕。因为我在24、25岁时创办了公司,我经历了整个背叛和戏剧的循环,所以你会意识到,硅谷既是一个非常有使命感的地方,也是一个非常雇佣兵式的地方。有时候,当大笔资金介入时,人们会失去理智,而在大局中,这其实是相对较小的资金。我想你正在考虑...

肖恩: 这对我来说是改变人生的经历,可能对你来说不那么重要,但很多人没有被教导如何处理金钱。我们并没有来自那种特权背景,对吧?

安杰尼: 我就像一只街头流浪狗。我在利希谷学校 (Rishi Valley School)长大。我们没有什么像样的设施,这里实行严格的极简主义。吉杜·克里希那穆提 (Jiddu Krishnamurti) 创办了这所学校,他的理念是你必须睡在一块硬石板上,床垫薄得几乎没有。后来我去了新加坡。在新加坡,我参加了一个奖学金项目,这让我非常感激新加坡政府。我就读于圣安德烈初级学院 (St. Andrew's Junior College),我们的宿舍位于文庆 (Boon Keng) 地铁站附近。

肖恩: 这并不是一个声望很高的社区。

安杰尼: 这是一个过渡宿舍,因为你们正在圣安德烈初级学院 (St. Andrew's Junior College)(SAJC)在波东巴西建设一个美丽的住宅校园,但我们是最后一批或倒数第二批在过渡地点的学生,这个地方就像是一个旧的,我想是一个移民工人的宿舍。

肖恩: 是的。我们把在工厂工作的人安排在那里。

安杰尼: 是的。[笑声] 所以在我11年级和12年级的时候,我住在一个卧室,大小就像从这里到那里的这个房间一样。

对吧?它们就像上下铺。这里一个上下铺,那里一个上下铺,上面一个,上面一个,这里还有一个,然后这里是我们放洗漱用品和衣物的地方。当一个人爬上他的床时,整个床就会摇晃。

肖恩: 天哪。

安杰尼: 其中一位室友来自中国 (PRC),是一位顶级的 DOTA 选手,不会说一句英语。他非常出色,我非常喜欢他。

肖恩: 我的意思是,所有的新加坡奖学金获得者都很出色。说实话,我们应该更好地对待你们,因为你们未来将会做出重要贡献。

安杰尼: 知道这些很酷。

不,我的意思是,我在生活中不需要太多就能感到幸福。当你经历过那些事情后,金钱有时成为我们衡量自己的方式,但当它不再只是一个副产品,而变成一种衡量标准时,就失去了意义。这就像是古德哈特定律的应用。

肖恩: 你可以用它来做更有意义的事情。这是追求你使命的资源。我已经占用了你比预期更长的时间,但我们应该在下一部分继续这个话题。

安杰尼: 我真的很享受这次对话。

肖恩: 是啊,你非常具有启发性,还有很多我想深入了解的地方,比如你如何设立每一项投资,Amp 的发展情况等等。不过我们时间有限,非常感谢你来参加我们的节目。

安杰尼: 很高兴见到你。我们找时间一起吃鸡饭吧。

好的。实际上明天我会给你发详细信息。我正在筹办一个生日派对。

肖恩: 我没有收到邀请吗?

安杰尼: 这是一个新加坡式的生日派对,你现在就收到邀请了。

肖恩: 好的,太好了。

安杰尼: 好的,谢谢。

肖恩: 好的,谢谢你。

Takeaway 行动指南

本期访谈中,安杰尼·米哈结合其在大厂、VC 投资以及基础设施创业的多年实战经验,为大模型时代的技术运营者与商业配置者提炼了以下核心行动指南:

  1. 避免规模虚荣,推行“迭代调试与拉起 (Iterative Bring-up)”: 在拥有雄厚算力资金时,技术决策者应警惕“用规模掩盖效率低下”的陷阱。对于任何算力集群的拉起,必须坚持从微观单元(如单个机架或 8 卡节点)调试开始,逼近 MFU 极限,然后再进行横向翻倍扩展,而非一步到位地浪费庞大物理资源。

  2. 跳出类比推理,坚持“第一性原理 (First Principles)”: 行业不确定性越高,风投和行业观察者就越容易套用过往时代的启发式规则(Heuristics)作为绝对公理(Axioms)(例如“数据就是护城河”、“垂直一体化才是唯一解”)。对于创业者而言,认清两者的界线,回到物理、数学与激励机制的底层逻辑,才能在竞争中找到真正的结构性空白。

  3. 以“行动”而不是“信念”雕琢组织文化: 文化是一个极其脆弱的花园,它的定义不是员工手册上的价值观宣称,而是创始人在面临危机和利益取舍时的每一次具体行动。通过主动设立 P0 限制和自我约束(如在资源匮乏中极度专注),团队才能在大水漫灌的融资浪潮中构建出无法被资本简单复制稀缺性的文化防御。