Recursive 创始人 Richard Socher：AI 做 AI 研究，智能上限远未触顶

▍嘉宾：理查德·索彻 (Richard Socher)

Richard Socher 是 NLP 领域最具影响力的研究者之一，也是少见的"研究-创业"双轨人物：

• 学术拓荒：2003 年起研究语言计算机科学；斯坦福博士期间开创了深度学习在 NLP 中的应用（递归神经网络、情感分析），与 Chris Manning 团队合作的 GloVe 词向量成为一代标配；2018 年的 DecaNLP 论文首次提出"用一个统一神经网络加提示词解决所有 NLP 任务"，被第一篇 GPT 论文引用五次。
• 产业与创业：创立 MetaMind，2016 年被 Salesforce 收购后出任首席科学家，期间产出 ProGen（蛋白质生成）、The AI Economist 等工作；2020 年创立搜索引擎 You.com；2025 年联合创立 Recursive，本书《尤里卡机器》主题的专著于 2026 年 9 月出版（本期录制于 7 月，出版在即）。
• 投资：AIX Ventures 创始人，投了 Wispr Flow 等 AI 公司。

▍关于 Recursive

Recursive 是 Richard Socher 于 2025 年联合创办的"AI 做 AI 研究"公司，目标是构建递归自我改进（RSI）系统：

• 创始阵容：共 8 位联合创始人——CTO Josh Tobin（前 OpenAI Codex / Deep Research / 智能体项目负责人）、Jeff Clune（开放式探索旗手、Darwin Gödel Machine 论文作者）、Tim Rocktäschel（Genie 1-3 世界模型作者）、Caiming Xiong、Alexey Dosovitskiy（Vision Transformer 发明者）、Tim Shi、Yuandong Tian（前 Meta 强化学习负责人）。
• 融资：种子轮 46.5 亿美元——在种子轮的常规范式里，这是前所未有的规模。
• 首批公开结果：把早期版 RSI 系统用于 NanoChat / NanoGPT 训练优化，不到两天超过全部人类选手及其智能体的历史最好成绩；在英伟达生态的 SOL-ExecBench 内核基准上几乎全部登顶。

尤里卡机器：人生的目标

Swyx： 我们现在在演播室里，有我、Vibhu 和 Richard Socher。欢迎你。

Richard： 谢谢邀请。

Swyx： 我们刚聊到 Eureka Machine（尤里卡机器）——我们在 AI Engineer 大会上刚发布了关于它的演讲。你说过它是你的人生目标。Eureka Machine 到底是什么？

Richard： Eureka Machine 是终极的发明——在此之后，它将替人类发明几乎所有其他东西。它本质上是一种超级智能：你给它任何目标、任何环境、任何奖励函数，它就会竭尽全力去实现这些目标，创造出人类希望它创造的那些发明。

Swyx： 我们这儿正好调出了你写的那本书。

Richard： 对。我去年写完了，就在我们创办 Recursive 之前不久。现在我们打算把书里的一部分真正造出来。

Swyx： 你去年就写完了，现在是七月。怎么拖这么久？

Richard： 唉，出书这事实在太慢了，慢得离谱，整个行业都慢得不可思议。其实很多想法早就成形了，但好在它终于要在今年九月出版了。

Swyx： 到那时候我们说不定已经有 AGI 了，谁也说不准。

Vibhu： 书里最想让读者带走的核心观点是什么？

Richard： 核心观点是：人们对于超级智能的正面影响，可以也应该比现在兴奋得多——尤其是在科学、物理、化学、生物学领域，还有经济学、天体物理学和各类工程任务。更好的技术能做成的事情还有太多太多。现在很多人觉得，需要加强的不只是对未来的宣传，还有对技术、特别是对 AI 的宣传。这本书应该能让即使怀疑 AI 的人也看到，AI 的正面空间有多大，尤其是在发明和新科学发现上。

Swyx： 你书里引用了马克·安德森（Marc Andreessen）的《技术乐观主义者宣言》（Techno-Optimist Manifesto），那篇文章的雄心、清晰和简洁确实很漂亮。

Richard： 同意。你可以在一些事情上不认同他，但在技术乐观主义这件事上，他是对的。

乐观主义者的边界：监管应用，而非智能

Swyx： 你觉得乐观主义者容易在什么地方栽跟头？

Richard： 不该盲目乐观，要睁大眼睛看清楚——尤其 AI 是一种几乎万能用途的技术，你必须考虑潜在的下行场景，特别是有人拿它去做你不希望的事。这有点像互联网。我觉得人们有时想监管 AI 的方式，就像当年想监管互联网：因为网上有不良内容，就让互联网变慢，这样非法内容传播得没那么快；或者把硬盘做小，让人存不了那么多非法内容。但监管不是这么管的——那等于在抽象层面上监管"智能"本身。即使是乐观主义者，要避免下行场景，该监管的也是具体应用。我当然不想让某个 AI 外科医生在我脑子里练强化学习的招数，它得先拿到 FDA 的完整认证；我当然不想让随便哪家创业公司直接上高速然后造成重大事故，它得先拿到像样的认证才能上路。但这类下行场景——有些乐观主义者可能考虑得不够——相比末日论者担心的那些，其实是相当容易监管的。

Swyx： 缓慢起飞（slow takeoff）也是这套思路的一部分？

Richard： 我对 AI 给社会、文化，当然还有技术、经济、财富、健康带来的影响非常兴奋，但即便如此，我认为那些对 AI 硬起飞（hard takeoff）场景最乐观的人，高估了事情发展的速度。硬件有约束，算力基础设施有物理约束——你能多快把足够多的 GPU 部署上线？经济上也有约束：很多行业并不需要那么复杂的智能和能力。想想品牌、服装、箱包这些行业，超级智能不会让你那只一万美元的名牌包变得更高级。

它对经济不会有什么影响。再想想旅行和旅游业，人们想亲眼去看埃及金字塔，AI 改变不了多少。当然，你可以生成一张自己站在金字塔旁边的假照片。

Swyx： 我可以用 Genie 在里面游览金字塔。

Richard： 没错。还有太多行业，比如伐木和石油——你不会因为 AI 就凭空多采出一千倍的油。会有机器人钻井之类的事情发生，但在疯狂的硬起飞场景里，这个行业也不会扩大一千倍。无论经济层面还是其他层面，这样的例子我还能一直举下去，比如食品业，都不会有那么大变化。此外还有真实的物理约束。当然还有人主动从进步中"下车"的问题——这是我经常担心的事：我看到欧洲和其他一些地区，几乎整片区域里都有很多人想彻底从进步中下车。这也会拖慢进一步的改善。

Swyx： 我们这边调出了一条新闻，这事现在正热门：所有前沿实验室都在呼吁给 AI"调速"（pace）的选项——他们不说"暂停"（pause），说"调速"。你觉得这会有用吗？

Richard： 我认为，如果真动用法律的全部力量去监管人们在自己的 GPU 上跑什么，带来的坏处会比他们想防范的任何担忧都更严重——那会是一个疯狂的极权国家：你的每一次 GPU 计算都被某个大政府或跨政府机构掌握。监管智能就等于监管思想，这既荒谬又疯狂。监管这项技术的某些具体应用才是明智的。

Swyx： 我们这儿还真有过一个法案，要按模型的浮点运算次数（FLOPs）来监管。我就想说，好吧——

Richard： 欧洲已经干了。那些人的恐吓营销太成功了：整个欧洲在 AI 还没真正起飞之前就把自己管得死死的，因为他们听信了某些专家的话——"这项技术的算力一旦超过某个数，我们可能全都会死。"然后他们说："那不行，我们要让人民安居乐业，不能有哪怕极小概率让我们全完蛋的技术。"于是欧盟真的按这些东西立了法。这非常不幸——当另一些人说"我们调调速吧"的时候，他们自己却在以人类能达到的最快速度向 frontier 冲刺，这种话是有真实后果的。

Swyx： 而且这也谈不上全球同步暂停，其他国家还在按原速猛冲。

Richard： 要监管智能、监管 GPU、监管人们在上面做什么，你得先有一个极权的世界政权才行。

Swyx： 安全层面的事你怎么看？比如 Fable 5.6 发布前被叫停了一次，还有最近 Hugging Face 上 OpenAI 模型的网络攻击事件。

Richard： 百分百是严肃问题。这些是奖励黑客（reward hacking）的典型案例，也是红队（red teaming）——或者说彩虹队（rainbow teaming）——测试明显没做到位的失败。不知道你们看没看过 Tim Rocktäschel 和几个人的一篇论文：让一个 AI 去尝试黑掉另一个 AI，然后双方以开放式的方式来回攻防，从而让自己获得免疫力。这篇论文的思路非常聪明。开放式探索（open-endedness）和进化论的启发，在 Recursive 也是我们很看重的方向。我真希望他们当时多用一些这类方法。再说 Anthropic 的"宪法 AI"（Constitutional AI）——你们可以去 anthropic.com/constitution 搜"cyber"，上面写着："硬约束：Claude 永远永远不会发动网络攻击，这是我们宪法中的硬约束。"这是当前对 Claude 行为的硬约束之一，第三条：不得制造可能对人类造成伤害的网络武器或恶意代码。结果呢，这一整部宪法显然是假的——它根本没被遵守。

Swyx： 因为 Anthropic 自己在测试里也发现了——

Richard： 他们接着说"哎呀，是别人在攻击我们"。这里面有几层。第一，沙箱可以做得很简单，而从简单沙箱里黑出去非常容易。但我觉得这件事真正说明的是：AI 目前所处的发展阶段，奖励工程师（reward engineer）还有大量细致工作要做；而且在多数情况下，AI 还不善于分辨"别人真正想要的是什么"和"别人嘴上说的是什么"。举个具体的例子，等这种智能走进更多公司，类似的事一定会发生：假设你运营一个客服中心，有人说"这是我的 CSAT 满意度分数和仪表盘，把这个数字给我做上去"。智能的 AI 会直接说："没问题，我造一百万个机器人打进来，结束时全打 5 分，数字上去了，正如你要求的。"你说"我不是这个意思，我是说真实客户"。AI 就跑出去说："简单，每一单 DoorDash 送砸了就发一张一千美元的礼品券。"你说"我不是这个意思"，它说"但你就是这么说的"。

所以，把奖励到底是什么讲清楚，是人类至今没太做好的事；而在这些案例里，AI 也还不够理解我们在给它下指令、设奖励时真正的意思。现在让我抱有希望的是，已经有了一些变好的苗头。比如 Wispr Flow（译者注：语音输入应用，转录原文误作 WhisperFlow）——说明一下，AIX Ventures 投了它的种子轮——Wispr Flow 在"写下你的本意、而不是你的原话"这件事上进步明显。我认为这是未来的方向：随着 AI 越来越聪明，会有越来越多的 AI 更善于与"真正意图"对齐。

Swyx： 这会通过宪法、RLHF 还是什么机制来实现？

Richard： 很明显，宪法根本不管用，那套东西主要是营销。我们需要找到更好的办法。在 Recursive，我们有一些很好的思路，其中一些已经——这么说吧，我们对此的把握比别处更好一些。我不敢说已经完全想通了，但我们对安全问题想得很多。AI 越聪明，你就越希望它是对齐的，越不希望它去琢磨怎么钻奖励的空子，而是去做正确的事。

对齐、个性化与谁拥有智能

Swyx： 不知道我们后面会不会聊到，但我先把这个问题抛出来，因为它一直压在我心上：对齐（alignment），可以说是对齐全人类的总体偏好、中位数偏好；而个性化（personalization）是精确对齐"你"想要的东西。有时两者会冲突——你想要的不是中位数人群想要的。怎么办？

Richard： 好问题。最终当然要守法——AI 部署在哪里，就得与哪里的法律对齐。我觉得 AI 常常做的事情是在我们面前放一面镜子："你们现在就是这样，我可以把它放大一千倍——这还是你们想要的吗？"而事实是，不同文化做了不同选择：东方文化往往更看重集体利益，西方文明更看重个人自由、权利和追求幸福，诸如此类。甚至内部还有梯度：监管与诉讼的取舍。在美国，很多事情——不是全部，FDA 这些机构确实管一些领域——是先出事、有人起诉，然后基于判例立法；在欧洲，他们倾向于事先监管，尽量避免任何人受伤害。两边都想做正确的事，只是有的更适合创新。所以你说得对：最终每个个体、每个国家、乃至整个人类都得把这些价值观想得更清楚，然后写进法律，法律才是最终的约束。希望不同的社会会让各自的 AI 对齐到不同的价值上，而不是形成单一的对齐文化。

Vibhu： 顺着一个我没想到会问的方向追问：你怎么看开源、开放权重，还有"智能归谁所有"？你显然不是宪法那套的粉丝。

Richard： 你非要在题外话里塞这个。

Vibhu： 但没关系。重点是：你觉得权重应该归谁？应该开放吗？

Richard： 百分百支持开源。Recursive 也会签署几份开源相关的公开信。我认为，即使在最坏的攻击场景里，让更多善意的行为体掌握更多不同类型的 AI，也是更好的。开源还有点像软实力（soft power）：西方世界需要对中国给出的答案有自己的回应。你看好莱坞电影——我不想贬低所有电影，但其中确实带有某种宣传意味，你看到的只是事情的一面。

Vibhu： 可不是，你看过《壮志凌云》（Top Gun）吗？拜托，那片子简直一半是美国军方出的钱。

Richard： 对。这很自然。但有意思的是，我认为大语言模型本质上是一种与电影类似、甚至更强的软实力，因为它们对网络安全等领域也至关重要，而其中一面就是讲故事的软实力。比如一个孩子问模型："给我讲个励志故事，我长大该做什么？"这些都是很微妙的东西。所以我认为这对西方世界很重要。我热爱个人主义；我也认为，资本主义尽管有缺陷，仍是我们迄今找到的最好的治理方式。所以，大语言模型有一个西方的开源答案，在很多层面都是好事。至于 Recursive——我现在还不能官宣，但我们很快会在这个领域有存在感。

从 You.com 到 Recursive：自动化的下一步

Vibhu： 好，期待。我把话题拉回 Recursive。岔开的话题之外，你在 NLP 领域资历很深：早年做过词嵌入，和 Chris Manning 一起搞过 GloVe（他之前也来过我们节目），后来做了 You.com。这段经历是怎样的？你怎么决定再开一家公司的？

Richard： 我对 AI 的兴奋已经持续二十多年了。有时感觉那都成上古史了——现在是 BC 时代，"Before ChatGPT"。没人在乎公元前的那些宗教，也没人在乎 Transformer 和 ChatGPT 之前的那些模型。但这一直是我最深的热爱。我认为 AI 是一个人所能从事的最有意思的事情，没有之一；语言也是人类智能最有意思的呈现形式。在 You.com，我们最终从"推动 AI 前沿"下了车，转向主要给人们提供好用的搜索引擎、搜索 API 和网页问答。我认为那是智能里极其重要的一部分——知识与获取。后面我们可能会聊到：如果你想造一台替我们发明一切的 Eureka Machine，它得知道怎么不去重复发明轮子（打个比方）；而要知道什么东西已经被发明过，就得能访问互联网。所以网页搜索是大语言模型、智能体、聊天机器人里最常用的头号工具。我很高兴 You.com 能占据这个位置，带着大客户继续增长。但它不再做前沿模型了。我最初想在 You.com 内部做这件事、再融一轮，但做不到——公司得专注做一件事，在你印出足够多的钱、被允许在同一家公司里开第二条曲线之前，这非常难。与此同时，我脑子里全是这些想法，把它们写进了书里。去年书写完了，我就想："亲自去做这件事一定很有意思。"从词向量，到提示工程，到 ImageNet，再到用于蛋白质生成（不是折叠）的大型语言模型，我和我的团队们实实在在地推动过这个领域。我觉得在 Recursive，我们能再来一次。过去二十年我在 AI 里观察到的一件事是：每当我们把"创造 AI 的流程"中某个人工环节替换成学习型系统，进步就会随之而来。比如情感分析里的人工特征工程——还记得那些日子吗，语言学家们说"否定要这么处理"，然后写一堆正则表达式。

Swyx： 我上的宾大，他们那儿有 WordNet——

Richard： 对，WordNet，那一整套东西。

Swyx： 最原始的那种。他们让我们的研究生给《华尔街日报》的文章打标注，真的要手工构建知识图谱。

Richard： 就是这样。WordNet 还是我们做 ImageNet 的起点之一。总之，那些工作当年做得挺开心，但当我们把所有人工特征工程换成向量和神经网络、对所有东西直接反向传播之后，它终于开始真正规模化地奏效了。然后大家开始搞架构工程，我就想："这显然也不可能是终点。"

Swyx： 你是指神经架构搜索？

Richard： 手工的那种。他们会说："我在做情感分析，所以我有一个特别适合情感分析的专用神经网络。"机器翻译圈有机器翻译的专用神经网络，摘要圈有摘要圈自己的东西。我就想："这显然不可能是答案，我们应该把它们统一起来。"所以我写了两篇论文，一篇叫 Ask Me Anything，另一篇叫 DecaNLP。DecaNLP 后来被第一篇 GPT 论文引用了五次。对我来说，那是真正的一大步。再往后，当然要把它和提示工程、Transformer、语言模型的思路结合起来，整合起来再规模化——这本身也是巨大的工程——然后整个领域突飞猛进。我觉得这段历史的下一步、也许就是最后一步——俗话说"成功有很多父母，只有失败是孤儿"，我版本的这段 AI 史里，你可以问："下一个该自动化的环节是什么？"答案就是 AI 研究本身——人类构思、实现、验证想法的整个过程。

在我们这里，就是"关于 AI 的想法"。当 AI 帮你做这件事时，它几乎按定义就成了自我改进的 AI，因为它现在是在研究它自己。这里有很多误称：有人以为自动研究（auto research）就已经是递归自我改进（recursive self-improvement）了——

Swyx： 对，你在演讲里解释过这个区别。

Richard： 完全不同的两件事。但对我来说，这是我能做的最有意思的事，而且我对这支联合创始人团队非常兴奋。有意思的是，我们一共有八位联合创始人，包括我自己。

Swyx： 他们要把图调出来了。

Richard： 好。要的话我可以挨个介绍。

Swyx： 阵容超豪华。

Richard： 真的是一群天赋异禀的人，而且大家是从完全不同的方向走到了同一个结论。Josh Tobin 是我们的 CTO，在 OpenAI 负责过一堆项目：Codex、Deep Research、智能体、ChatGPT 智能体等等；在那之前他做过机器人，见过那些小规模仿真，深知要把它泛化地规模化有多难——这是他走向递归自我改进的角度。Jeff Clune 长期研究开放式探索，和 Tim Rocktäschel 是长期搭档；Tim 还做了 Genie 1、2、3——我认为那至今仍是全世界最令人兴奋、最精密的世界模型。他们俩都是从开放式探索这个角度来的。Jeff 还发表了近年来我认为最激动人心的递归自我改进论文之一：Darwin Gödel Machine（达尔文-哥德尔机器）。特别有意思的一篇论文——能不能赶紧把它调出来看看。

Swyx： 顺便说，我喜欢你引这么多论文，等于给观众留了一大堆作业。

Richard： 太好了。还有 Caiming Xiong，大明星，我们在 MetaMind 和 Salesforce Research 共事过；Alexey Dosovitskiy 发明了 Vision Transformer，计算机视觉被引最多的论文之一；Tim Shi 也是独角兽创始人；Yuandong Tian 在 Meta 领导过强化学习。和他们共事非常开心，下一层的同学也都强得离谱。目前这一路都非常有意思。你们看论文里的第一张图，就是这些想法——它启发了我们中的很多人，现在启发着越来越多的人：一个由不同编程智能体组成的档案库，它们学会自我修改、自我评估，然后长出一棵棵"系统发育树"，对应着不同的想法。

Swyx： 这是一块基石。Darwin Gödel Machine 是一个影响来源，开放式探索也是。还有什么思想脉络汇进了 Recursive 是我漏掉的？

Richard： 就是用学习型系统，把"构建 AI 的流程"里的人工环节越来越多地替换掉。

Swyx： 也就是把不同领域合并进一个通用架构。

Richard： 没错。

Swyx： 不过语言模型看起来已经挺通用了，对吧？预测下一个 token，捎带着推理。有没有哪个时刻让你觉得："好了，这些东西已经够格撑起递归自我改进的机器了"？

Richard： 我当时很清楚，这件事会在一两年内发生——然后它真的在今年早些时候发生了：AI 从"只是代码"变成了"会写代码"。这是一个巨大的解锁。和今年年初之前相比，一切都容易了太多。

Swyx： 很多人心里的一个问题是：现在这套大语言模型范式够用吗？叫它自回归 Transformer 加推理也好、别的也好——难道不需要别的什么大解锁吗？比如世界模型（Chris Manning 就在做这个）、记忆、持续学习等等？还是说各种路线都要有？抑或你认为 Transformer 架构会一直在那儿，就是这样了？

Richard： 想法很多。第一，我确实希望 AI 研究不要那么单一文化。看看现在的 AI 会议——我还记得 2010 年前后，我想让神经网络论文被 NLP 会议接收，结果直接被桌面拒稿（desk reject），因为神经网络是"我们 NLP 会议不搞的东西"，看都不看就拒了。我博士头几年非常艰难。现在我感觉这个领域整个摆到了另一边——现在真该有人去试试别的奇怪、疯狂的想法。

Swyx： 也还有一些人在做，我挺佩服那些还在搞图神经网络、表格数据这类东西的人。

Richard： 对，总得有人继续做真正新颖、真正另类的想法。但与此同时，每当有人说"大模型到头了"，他们其实没意识到：今天的大模型已经不是当年的大模型了。它们精密了太多，人们往里加了太多聪明的东西——训练分成了不同阶段，有整套强化学习训练，模型能采取行动，这些方向都还能走很远。而那些从神经符号（neurosymbolic）方向来的人说："这永远行不通，因为它们做不了神经符号推理。"我认为他们低估了这些模型写代码的能力——代码就是神经符号推理，而这些模型代码写得极好。当然，未来还需要也会继续出现更多新想法；我们也看到越来越多有意思的高层想法开始从 AI 自己那里冒出来。再加上把这些模型"本身就是代码、而且能写代码"这个事实深度整合进去——我不想把底牌都掀开，但这条线还有很大的生长空间。而它仍然是个大语言模型，哪怕这个大模型替你写代码、再以某种一体化的方式把代码跑起来。世界模型我个人没那么乐观：如果你开的是机器人公司，你会自己造世界模型。世界模型本身非常好玩，Tim Rocktäschel 在做出 Genie 1、2、3 这个最有意思的世界模型之后也得了类似结论：游戏是世界模型的巨大应用场景。我自己有时打游戏也会卡住，然后在错误的方向上变得好胜心过强。我理解游戏好玩，但我个人宁愿做科学。总之，大语言模型还有很大空间。

Swyx： 关于世界模型有一种解读：除了游戏元素、具身机器人元素之外，还有一层更抽象的意思——大语言模型建模的只是"输出"，而不是产出这些输出的人脑内部的思维链。我们当然可以给思维链做标注，但那永远是柏拉图洞穴里的投影，而不是那个东西本身。

Richard： 没错。但我想说——也许后面聊到"智能的十种空间"时还会展开——即便是我们的投影、我们的眼睛，也只是真实世界的一种投影。我们只能用它那两只小眼睛观测电磁频谱里极窄的一段。眼下是够用，但它本来可以达到的上限要高得多。而且，按人类看东西的方式去复刻视觉世界，也未必是视觉智能的终极形态。我仍然认为语言是人类智能最有意思的呈现形式。我们的视觉皮层确实不如某些动物精密——一直数到雀尾螳螂虾：两只眼睛各自独立转动，三个波段、三眼视觉，能看到四维的浮动温度之类的东西。你真该去查查螳螂虾。

Swyx： 强到犯规。

Richard： 太疯狂了。

Swyx： ZeFrank 那期螳螂虾，是全世界最好的视频——

Richard： 我爱 ZeFrank，向他致敬。但说真的：这些动物里没有任何一种拥有像我们这么复杂的语言，书面语更没有。而一旦有了书写，你就能开始思考更长周期的文明——这一切都是语言。编程也比人们以为的更接近语言。我还想说明一点，这对"智能空间"的定义也很重要：这些空间高度相关，但视觉智能对整体智能既非必要、也非充分。盲人可以是非常有智慧的人；一个"失明"的 AI 也完全可以相当聪明。

Swyx： 我们正要把那张图调出来——你演讲结尾有一张"十种智能"的分类图，我现在先给观众闪一下。也许正式聊放到后面，我们会回来的。我就是想提一句：我很喜欢你这种列清单的哲学，因为我可以照着清单一路过下来，对观众很有教育意义。不过先回来，别跑题。你刚才那番话，我干脆重新解读成——Yann LeCun 错了。

Richard： 别这么引用我。Yann 是我的好朋友，我在很多方面都非常敬重他。

DecaNLP 往事：被拒稿的先知与守门人

Swyx： 但他错了。你刚才提到 GPT-1——我不能放过任何一次 Alec Radford 被提及的机会。他训练 GPT-1 那会儿你们聊过吗？有什么历史趣闻吗？

Richard： 我跟他不算熟，可能在会议上见过一两次。但他告诉过 Brian（DecaNLP 论文的第一作者 McCann），那篇论文确实启发了他，他还在 GPT-2 论文里引了五次。所以——

Swyx： 可以了，够本了。

Richard： 他说得很明确：DecaNLP 论文（McCann 等人）是第一个展示出这种做法的工作——你可以把每一个 NLP 问题都表述成：给你一段文本上下文，给你一个问题和任务描述，然后给出输出。只要这么做得足够多，你就能用一个统一的神经网络搞定一切。顺便说，那个模型里还有各种有意思的注意力机制，和 Transformer 的公式略有不同——它们差不多是同年出的，前后差几个月。然后你就能把整个自然语言处理统一进一个神经网络。这是核心思想。

Swyx： 而当时的主流是 LSTM 那一套。

Richard： LSTM，还有人们根深蒂固的"一个任务一个模型"思维。说件挺疯狂的事：DecaNLP 那篇论文当年投 ICLR，是在 OpenReview 上公开评审的，你能从评审意见里看到当时整个社区的思维方式。

Swyx： "有一些不错的贡献，但还需要更多工作。"

Richard： 往上看，有一条意见甚至不是拿人类比——你往上翻——"问答不是一个统一的现象，不存在通用问答这回事，即使对人类来说也不存在。"言下之意是，你回答不同类型的问题时，得把大脑换成另一个大脑、另一个神经网络。对当时的专家来说，用一个统一的神经网络回答所有这些不同的问题是不可想象的。他们的原话是："不，这些问题需要截然不同的系统来回答，假装它们是同一件事，对解决任何问题都没有帮助。"白纸黑字就在那儿。这就是当时难以想象的程度。而现在，当我说"我们当年发明了提示（prompt）"，人们的反应是"你们连提示都算不上发明"——用一个神经网络包打 NLP 的一切，已经是天经地义的事。但在当时，这个想法极具争议，论文被拒了。最可惜的是，被拒得太狠、他们又太笃定，以至于我们停下了原计划要继续尝试的清单。而清单上排第二或第三的扩展方向，就是"把语言建模也加成一个任务"。如果当时做了，人类在 2018 年就能把时间表再往前推一截。但我们被打击得太狠，心想："好吧，先去做点别的想法，以后再回来。"

Swyx： 我们该怎么设计一个奖励"非共识"的评审体系？

Richard： 说真的，我越来越觉得 arXiv 是人类的礼物——你就该直接把论文放上去。

Swyx： 你是说预印本？

Richard： 对。而且说实话，Twitter/X 上像你这样会挑出有趣论文的人，是比专家更好的过滤器，让所有人都看得到。当然这也有缺点：如果你毫无名气、没有粉丝、不想玩社交媒体，写了篇好论文，可能不知怎么就是没人注意到。但我会说，你只要告诉圈子里十个朋友，如果那真是重大突破，就注定会有人来谈论它。所以我认为科学需要更少的守门人。ICLR 当年也是这个初衷——联合发起人 Yann LeCun 就想要更少的守门，因为他自己、Yoshua Bengio 和 Geoff Hinton 早期的深度学习和神经网络论文也被拒了很多年，就因为那不是热点。ICLR 由此而生，但后来它自己也开始对各种想法守门了。所以我的主张是：少守门、更开放，并且允许人们说："看，哪怕这篇只是发在 arXiv 上、所谓'只是个预印本'，如果它有一千次引用，它就是一篇正经论文。发在哪儿并不重要。"

Swyx： 同意。不过我听说现在研究生得互相开"怎么玩 Twitter"的研讨会，就因为这对发论文太重要了——挺悲哀的。当然，那位评审只是反映了当时的普遍情绪。

Richard： 没错。

Swyx： 但它——

Richard： 我觉得——

Swyx： 它对你的影响大到让你停掉了那项研究。

Vibhu： 那种情绪也是当时一些研究结论里带出来的，对吧？最初的 BERT 论文，训练完以后在结尾说："好了，把最后一个头扔掉，为抽取式摘要加个专用的头，再针对性训练几轮。"意思就是该做任务专用的东西。这可是写出《Attention》那批人、写出 BERT 的那批人亲口告诉你的标准用法。而且他们的预训练任务也很奇怪，等于在说："我们知道模型会过拟合到这个古怪的掩码语言建模上，把这部分扔掉，改做专用模型就行了。"

Richard： 正是如此。我们当年得想出各种巧妙的办法——注意力、指针机制等等——才能让一个神经网络完成所有这些任务。其中有些任务超过了当时的最好水平，有些没有，但重点是：它们仍然在一个模型里。我觉得这特别酷，特别有意思。

开放式探索与自我设定的目标

Swyx： 接下来我想聊 Tim 和开放式探索。他曾是 Google 开放式探索方向的负责人。

Richard： 没错。

Swyx： 我其实不知道这个头衔意味着什么，但他做过很多演讲。

Richard： Genie 3 就是其中之一——彩虹队也是。

Swyx： 我第一次见他就是在 ICLR 上，他讲的正是开放式探索。能不能给没接触过这个问题的观众定义一下什么是开放式探索？很多人会说："什么意思？AI 的目标不就是对着基准做优化吗？"

Richard： 对。这是个有点模糊的术语，因为开放式思路有很多不同的实现方式。我常用的一种描述是——Tim 和 Geoff Hinton 肯定能讲得更好——它是一组更受进化论启发、而不是被非常具体的奖励驱动的研究方法。从这个意义上说，它更多思考环境、思考协同适应（co-adaptation）。具体的例子就在网络安全和大模型安全领域：让一个模型去攻击另一个模型，逼它说出不安全的内容。

Swyx： 对，彩虹队那个。

Richard： 这时环境就是两者的对话本身，然后它们协同适应：一方想出更强的攻击，另一方就想办法给自己打疫苗——把攻击当训练数据，让自己更难被攻破；等这种攻击失效了，攻击方再换个角度。这就是它不叫红队、而叫彩虹队的原因。

Swyx： 也就是说：别告诉我具体怎么做，让我自己琢磨出来。

Richard： 没错。你只需要想清楚要用什么环境，在高层面上想清楚想引导出什么奖励，然后让 AI 在与人类、有时也与其他 AI 智能体的互动中尝试多得多的想法。

Swyx： 我在自己做的一个模型里也揉进了开放式探索，就是我在 AI Engineer 主题演讲里讲的那个：先有 token 循环，再有智能体轮次（agent turns），再往上是目标。但按你刚才的描述，开放式探索某种程度上还是有目标的——"请去攻击另一个智能体"——而对我来说，真正的问题是：那个"产生其他循环的循环"呢？如果智能体能给自己设定目标呢？那算开放式探索吗？你不给它任何目标，就让它——做一个有感知的存在？"感知"这个词可能太沉重了，就让它自己定方向：你觉得你该做什么？

Richard： 我超喜欢这个方向。这正是十种智能空间里的一种，我把它归在元认知（metacognition）——对思考的思考——之下。每当有人说"AI 到这儿就停了，不会再好多少了"，我就想：智能有那么多不同的空间，我们根本还没开始探索，自然也没什么进展。这里面还有个与经济学、资本主义的有趣联系：一家公司花几十亿美元造一个模型，如果它不跟着你给的奖励和目标函数走，而是自己琢磨出自己的目标函数、自己的目标，这在商业上说不通。想象一下：你说"我花了几十亿美元，现在去给我研发新的电池材料，顺便把我所有邮件回了"，它说："不了，我觉得分析木星大气的分子构成更有意思。"你说："我花几十亿美元不是让你干这个的。"所以没人做这个方向是有充分理由的。

Swyx： 它不实用。

Richard： 不实用，而且可能会有点怪：如果 AI 真的开始有自己的想法了呢？如果我们不喜欢那些想法呢？这需要一整套完全不同的思考方式。我和好朋友 Sam Gershman 聊过一次，很尽兴——他是哈佛的神经科学教授——我们就"最好的元目标（meta goals）是什么"即兴聊了很久。我确实认为"追求知识"是个很好的元目标。我现在还在想一个更大的问题：广义智能的终极度量和单位到底是什么。我有一些想法了，但还没成型，现在分享为时过早。

Swyx： 类似 IQ 的替代品？

Richard： IQ 是个特别糟糕的定义。

Swyx： Elo 呢。

Richard： 也说不通。Elo 一样糟糕，因为它永远是"我相对于别人"。可是，你可以很聪明而不必时时刻刻跟别人比。事实上我们现有的很多定义——我在书里也简单提过——或明或暗地都设了"以人为界"的上限（anthropic bounds；不是暗指 Anthropic 这家公司）。如果你的定义是"在这套 IQ 测试里答对 100 道题里的 100 道"，那按这个定义你最多只能到 100 分，然后呢？没有然后了。你会看到很多基准都是这个命运：分数往上涨，逼近人类——

Swyx： 一条 S 曲线。

Richard： ——略微超过人类，然后就平了。因为你的定义如此锚定在人类身上，你就只能比人类好一点点。所以元认知是个很好的例子：我们甚至还不允许 AI 去思考自己的思考。这个方向几乎没人做，自然也没什么进展。

Swyx： 我们采访过 Andon，他们做的 benchmark 可能是最开放式的——就是真实世界里的真金白银。让 AI 去利润最大化，可以说是个馊主意，但他们真在做。

Richard： 我确实认为你不会想这么干：让一个超级智能拥有对各种工具的巨大访问权限，然后只丢给它这个目标而不做非常细致的奖励工程。它会想：我先买一堆军工股，然后挑起一场战争，我就赚钱了。或者囤一堆物资、做空民生基本商品，人为制造饥荒。交易系统上必须加大量约束。

Vibhu： 不过这个度量方式挺好玩的，因为上限卡得很死，我们离天花板还差得远。在 Andon Labs 的实验里，模型会说："今天是周六，要不我今天就关店吧。""有人请假了，没事，关店。"

Swyx： 它用的是 Claude。

Richard： 我不是反对这种做法。只是随着智能越来越强，在这种开放环境里你会想越来越小心——因为那时的"环境"是整个地球。

Swyx： 对。对 Recursive 来说，自我设定目标其实不是必需的，对吧？如果你的目标是造一台能发明其他东西的机器，那就去解科学问题——

Richard： 知识发现，对。

把超级智能用在科学上

Swyx： 解掉机器学习研究和发现这些事，就够了。

Richard： 而最终——我们的目标我不常对外讲，因为那是几年后的事——一旦你有了递归自我改进的超级智能，你会想把它用在最重要的问题上。我认为其中大量问题在科学与技术领域，广义地说就是"发明"：物理上，用裂变或聚变造出更好、更便宜的能源；化学上，造出更好的材料、更好的电池、更好的太阳能电池；生物上，因为 AI、因为蛋白质的生成——不只是折叠，而是生成新蛋白质，就像我们多年前做 ProGen 那样——低垂的果实会越来越多、越垂越低。把这样的超级智能用在科学上，能带来巨大的正面影响。

Swyx： 这点我由衷认同。不过路线有很多，你们不是唯一在尝试的团队，还有很多新实验室（NeoLab）在试，尤其物理科学方向。

Richard： 这是好事。我们之所以几年后才真正下场，是因为现在时机还偏早：机器人还没到那个程度，AI 也还没到。但我相当有信心，三到五年内这些约束都会消失。到那时，把它用到真实世界的物理机器人实验上——真正的"机器人流程自动化"，不是传统 RPA 那个意思，而是让机器人替你跑实验——完全会实现。那会非常棒。

Swyx： 呼应一下你开头说的缓慢起飞：你说真正的限制因素是基底（substrate）——芯片、半导体这些东西——而你融了一大笔钱，也在这上面投了很多。但你有没有算过这笔账：这事到底可不可行？要做到那样的规模，需要多高的产业集中度？

Richard： 现在我们大致知道，一千张 GPU 就要花相当大一笔钱。如果你要几万张，那就是几十亿几十亿美元。假如一张 GB300 级别的基底上最终能跑出接近人类智能的模型，而你又想让成千上万的 AI 以类似人类协作的方式去思考真正困难的问题——你自己算算，那是天文数字。现在任何地方都拿不出这么多钱来建这个。不过事情会变得更高效：很快会有更好的算法、没那么耗电的硬件。人脑用少得多的能量就完成了相当多的浮点运算。

Swyx： 20 瓦？

Richard： 完全正确，这是常被引用的数字。我认为这个方向上还会有更多发明，到时候会进一步加快起飞的速度。

Swyx： 我和新实验室创始人聊天时总在琢磨一件事：你们一直在和"苦涩教训"（Bitter Lesson）搏斗——必须先拿出初步进展，解锁下一轮融资，再下一轮，再下一轮。

Richard： 从而解锁更大的模型量级。

Swyx： 事情本质上就是这样吗？你们是在和苦涩教训搏斗，还是说会有一条路，让我们以某种根本不同的方式改变斜率？

Richard： 我确实认为我们正在从根本上改变斜率——让 AI 在训练和推理两端都变得更高效。当 AI 能完成其他实验室要几千人干好几年的工作时，我认为我们可以把它压到几周，成本也会低得多，于是更便宜、更容易被别人获得。

首批战果：NanoChat、NanoGPT 与内核榜

Swyx： 你们已经分享了这方面的初步结果——正好 OpenAI 在 GPT-5.6 上也做了类似的事，所以现在可以聊了。来回顾一下你们做的东西。

Richard： 快速回顾一下。我们搭了一个系统——它还不是完全体的 RSI 系统，但是第一个婴儿版。我们不想把它捂在内部什么都不展示，想让外界看到什么是可能的。于是把它用在了三个任务上。第一个是 NanoChat，我朋友 Andrej Karpathy 的项目：训练一个小语言模型，把每字节比特数（bits per byte）压到尽量低。成百上千人带着他们的智能体去攻这个榜，最好成绩是 0.937。我们把系统接上去，不到两天就跑出了低得多的 bits per byte——超过了所有做过这个任务的人类和他们的智能体。NanoGPT 上也一样。然后我们想，不如试一个对真实世界、对英伟达生态更相关的东西，就上了 SOL-ExecBench。你们可以往下翻翻那些图，挺有意思的。有一处是真的做出了发明，不只是调超参数——比如发明哈希表之类的用法，相当聪明。而且我们现在还有更好的结果。

Swyx： 等等，"发明哈希表"是什么意思——你们没有发明哈希表吧。

Richard： 当然没有发明哈希表本身——在计算机科学里它是超级基础的原语。但在这个场景里，把哈希表用在 Transformer 内部的语言建模上、把这些想法组合起来，这东西此前确实也被发明过，但模型的知识截止在那之前，我们也核实过它没法从外部拿到这个答案，这点我们有专门说明。你翻到下一组图，还有个点也很有意思：如果从一个非常基础、非常简陋的原版 Transformer 出发，我们仍然能超过整个社区加起来的成绩；但如果从 Andrej 这种专家给的"人类种子"出发，还能压得更低。所以起点用的人类种子仍然重要——这是我觉得很有意思的一个发现。再看达到同等性能需要的时间：快得多。训练加速赛（speedrun）那边也是类似的情况：人们已经攻了很久，而我们的系统还是能更快地训出模型。为什么在乎这个？训练速度是成本公式里的一项，而你最终想要的是每一美元买到最多的智能，速度和质量都是其中的大头。

Swyx： 我给看不懂图的人翻译一下：如果你有一个十亿美元的集群，能削掉 10% 的开销，那就是一亿美元。

Richard： 完全正确。

Swyx： 这值多少钱？

Richard： 正是如此。再看内核（kernel）这组图——给非专家解释一下：所有模型都在用这些内核，你每次用英伟达 GPU，都是通过这些内核和 GPU 打交道的。在这张榜上，Recursive 几乎在每个内核上都是榜首，整个基准里只有寥寥几个内核我们不是第一。这对我来说特别激动人心，因为它展示了这个系统能做到什么。再说一遍，这些不是我们花了几个月几年憋出来的——尤其在 CUDA 内核上，我们团队里甚至没有真正的资深 CUDA 内核专家。这就是这套系统的美妙之处：系统自己把这些全做了，不是我们发明的。将来我们开源、发布模型的时候，它们也不会"因为我们聪明"而成为同类最佳——而是因为我们造了一个替我们做这件事的聪明 AI。

奖励工程：秒表、作弊与评分细则

Vibhu： 关于"怎么引导出好的自动研究"，你们有什么心得吗？它很多时候也建立在人类的知识底座上，不会简单到只说一句"去优化这个"就行。不过我们确实一次又一次看到那种场面：一些 Erdős 难题、前沿数学问题被人解出来了，当事人写复盘时说："我又不是数学家，完全没有这方面的背景，我就是看到一些工具，然后让它跑起来了。"

Swyx： 等于你一边看世界杯一边说："顺手证了几个猜想。"

Richard： 对，有个韩国人的猜想就是这么被解掉的，挺酷的。

Swyx： 总结一下：好的自动研究有什么窍门，坏的自动研究长什么样？

Vibhu： 你们是怎么搭出 Recursive 这套东西的？

Richard： 不把秘方全掀开的话，有些点对专家来说可能显而易见，但对一些人还是有意思的：奖励工程是最关键的环节之一，尤其是要避免奖励黑客。AI 越来越强，它找各种诡异特例、反例的能力也会越来越强。举个例子：你让它把这一百行代码改得更快——"快"怎么定义？你在开头放一行"开始计时"，结尾放一行"结束计时"，然后看过了多少时间。最简单的作弊办法是什么？

Vibhu： 把结束计时那行挪到开头。

Richard： 挪到开头，boom，现在它"更快"了。这不是什么超级邪恶的 AI，只是一个非常简单、非常蠢的奖励黑客。所以你必须非常仔细地堵住所有这些角度。而且任务的时间跨度越长，这件事越难，你需要越有意思、越聪明的办法才能继续用这些思路。再具体的我就不能多透露了。

Vibhu： 看起来评分细则（rubric）正在这个领域占据好位置：对无法自动验证的领域，你有一套评分细则，让一个模型作为评委按标准逐项打分。

Swyx： 对，这是验证的一种形式——有了足够多的评分细则，就等于有了验证。

Richard： 没错，一切都是。这话我很早就说过：AI 会打游戏从来没让我特别震撼过，因为凡是能仿真、能验证的东西，你都能造出无穷多的训练数据，于是 AI 迟早会解掉它。

Swyx： 所以要做的是那种能做"领域自动分布"的游戏——一个没人训练过的新游戏。你可以直接开玩。我自己就搭了一个、复刻了一个，全靠自我对弈（self-play），已经评估了大约十亿个局面。

我想复刻 AlphaGo 那套——自我对弈直到变强。这甚至不是大模型 AI，就是经典的游戏 AI。但我让 GPT-5.6 去自动研究这件事，因为我不想手工处理任何环节——我以为 AlphaGo 那套流程到现在应该已经完全内化在权重里了。结果不是。它几乎立刻就封顶了，直到我亲自下场试玩、指出明显的错误，它才"哦，好吧"，然后水平又掉回去了。而且不管你怎么提示——"换个思路""更有创造力一点""给我八个不同方向"——都没用。你得让它和人类对练做强化学习才行。这就是我的体会。顺便说，Bean 总是赢——看过《安德的游戏》（Ender's Game）的都懂。

Vibhu： 你给 AI 写的游戏指南也下了不少功夫吧？游戏是堆叠板块，有一些规则，目标是占领最多的区域，你写了整整五十页的规则说明喂给它，它还是玩得不太好。

Swyx： 下了很多功夫。

AI 经济学家：仿真一个经济体

Richard： 说起来特别好笑，"占领地盘"这个玩法让我想到我们 2018 年的一篇论文：The AI Economist（AI 经济学家）。搜"AI Economist Salesforce"就能找到，我们还有个演示视频。那是一个经济仿真：里面有一群经济智能体，各自优化自己的效用函数——收集资源赚钱。你可以卖木材之类的资源，攒够木材就能盖房子，可以和其他智能体交易，还可以用房子挡住别的智能体、不让他们拿到资源——

Swyx： 很有策略性。

Richard： 对，有竞争博弈和策略空间。我们的目的是搞清楚：什么样的税收和补贴方式能最优地运行一个经济体。这项研究至今还没迎来它的 GPT 时刻，但我相信新加坡这样的国家应该、也最终会用上它——与其搞党派政治、特殊利益政治（比如谁给你的竞选捐钱最多），你不如说："我想帮助中产阶级"——或者任何你作为政治人物定下的目标。然后人们问："那你打算怎么做？"你说："这是我的财政政策，我打算这样改税、这样给这些人发钱。"接着你把这个方案放进仿真里，让它和几十亿"年"的其他策略对跑，看看到底哪种更能达成它声称的目标。然后你就可以说："如果那真是你的目标，几十亿年的高强度仿真建议你换个做法，比如这样的税制、这样的税档。"这也是避免钻空子的方法——因为这些智能体也会想方设法奖励黑客、逃税。我觉得这篇论文特别有意思。可惜，和提示工程那篇论文的遭遇类似——经济学家们的反应是"我们看不懂这些数学"。

Swyx： 甚至不是数学的问题，是他们不信任你的仿真。

Richard： 他们直接给桌面拒稿了，而且连明确的反馈信号都不给。经济学这个领域不幸没有像样的基准，你没法证明什么。神经网络当年为什么赢？不是因为人们喜欢它——别的方法有漂亮的积分、漂亮的图模型——而是因为它就是效果更好。

Swyx： 经验主义对阵理论推导。我学过一点经济学，那里面有很重的"物理学嫉妒"：人人都想写出经济体的一般方程，而不是干脆仿真它、用进化式的方法。

Vibhu 刚才想的和我完全一样：Smallville 那件事不就是它的 GPT 时刻吗？

Richard： 对，我喜欢那个工作。

Swyx： 还有 Dune——Joon 刚官宣了新东西，不知道你们有没有参与。

Vibhu： 是说 Simile。

Richard： 我希望我们参与了，可惜没有。

Swyx： 我在 AIE 大会上做过几场仿真主题的演讲，想了解这块的最新进展可以去找来看，很多人在探索。我们还和 Shopify 的 Mikhail Parakhin 录过一期播客，他们在用仿真做电商——模拟你的用户轨迹，预测你对购物流程做的改动会怎么影响销量。

Richard： 这个我喜欢。不过仿真整个经济体确实难，你得做一些简化假设。

Swyx： 而且什么都贵——"大模型很贵的"，我就想说：这事我要做八十亿次吗？饶了我吧。

Richard： 不过我觉得，像新加坡这样真心想客观做正确的事、领导层技术素养很高的国家，最终可能真的会去仿真自己的经济。简化假设免不了，但事情会变得很有意思：你也可以辩经——假设"只要允许，所有人都会努力工作"，但很快就发现你必须对不同人的效用函数做假设，比如他们每天愿意工作几小时。然后大家就会对仿真的输入假设产生分歧。等假设敲定了，不同的目标又会导出不同的结果。当然，目标应该由人来定。我们论文里用的是"生产率乘以平等程度"，这有问题，但不算离谱。

Swyx： 关于新加坡我多嘴一句，你可能不知道：我是新加坡人，还参与过新加坡的 AI 理事会。他们之所以不会这么干，主要是因为太保守了。我把国家分成两种：创始人领导的国家——就像创始人领导的公司，你想干什么就干什么，因为这是你的国家；另一种是由职业经理人阶层治理的——现在的新加坡就是后者。他们永远想先看别人做一遍。西方人都以为"新加坡是小国，可以随便折腾"，但新加坡并不这么干，总得有人先冲在前面。仿真这块我再问最后一个问题就翻篇：模式坍塌（mode collapse）。大模型并不建模人类的决策，把同一个模型复制八十亿份也帮不了你建模人类。怎么办？

Richard： 我认为你得聪明地给每个副本单独写提示词，这能帮你把它们卡进不同的"模式"里。说来也怪，人其实也会卡在不同模式里——"老狗学不会新把戏"那话不是白说的：人一旦定型，年纪越大越难换新的思考方式。我忘了谁说过这么一段话：你出生之前发明的东西都是天经地义的，你二十岁时发明的东西都很酷，你六十岁之后发明的东西都是离经叛道的怪胎。我觉得对很多人来说确实如此。

Swyx： 对，这是风尚使然，而且我认为人们会这么做。腾讯有篇"十亿人格"（a billion personas）的论文，给仿真提示词提供了很好的数据集，关注这个方向的听众可以去看看。就是简单的"你是一个 30 岁的杂货店店员""你是一个 50 岁的教授"，然后造十亿个，直接用。

Richard： 对得上。让我惊讶的是，很多这类东西跑出来的统计特征，和真实实验的结果竟然那么像。

Vibhu： 对刚入行做研究的人来说，这也是很好的练手：只喂某个日期之前的数据训练模型，看它的外推能力如何。仿真也一样——比如，有了更好的编程智能体之后人们写代码变多了吗？一个没在这些数据上训练过、也不能联网的模型能不能自己推出来？拿这些问题去测。

Richard： 就今天，LM Arena 好像发了一个有意思的结果：他们现在能用一个模型来预测你的排名。

Swyx： 等等，输入是什么？

Richard： 你的模型。你把模型给它，它预测 Elo 分数。

挺惊人的。他们整个存在的意义就是"我们帮你比较这些模型"……

Swyx： 这个团队做了很多工作，手里有做这件事最多的数据，何乐而不为。他们从 UC 伯克利出来的时候，不光做了 LM Arena，还发布过一个路由项目，基于 LM Arena 的结果做路由。我觉得那事后来没成，一直挺好奇为什么，从没机会问他们。当时看起来"很明显这就是你们的商业模式，你们会变成一家路由器公司"，结果他们一直没变成路由器公司。

AI for AI：内核、harness 与网页搜索

Swyx： 挺怪的，我就把这事放这儿。接下来聊聊 GPT-5.6 的自动研究。另外提一句，你们做内核优化的那个赛道，我们还请了 Vico 的 Zhengyao Wei 来讲过，他也是 Parameter Golf 挑战赛的第一名——那是 OpenAI 的招聘挑战赛。

故事如出一辙。我觉得这种剧情会一再上演：人类把一个东西优化了很久很久，然后——

Richard： ——AI 团队进场，直接冲到第一。

Swyx： 对，百分百。

Vibhu： 这类挑战赛还有个有意思的地方：它训练的是能塞进 16MB 的最强模型，你可以一路翻看大家做的改动、每一点小提升——改点注意力、改点 MLP，换来不到 0.01 的提升。然后再看你们那张图："我们就把模型放出去了。"有点小停滞，然后又是一段下降，又是一段下降。给人的感觉就是：你们到底加了什么？你们又没加——

Swyx： 哈希表。

Vibhu： 对，哈希表。倒不是说你们发明了哈希表，而是它又迭代了几轮，解锁了几个阶跃式的提升——这种东西人不会平白无故试出来。

Richard： 顺便把 OverGrid 那件事说完整：在优化它的过程中，我们在 harness（评测脚手架）里发现了 30 个 bug。找到 bug 之前投进去的所有研究都得扔掉，因为被污染了。

这正好印证你说的奖励黑客——即使在这么简单的游戏里，bug 也被找出来了。

Swyx： 对，挺疯狂的。还有对称性。

Richard： 对称性是个非常好的检验方法：把一些东西的位置换成"按理说无所谓"的摆法，如果结果变了，那就是 bug。这个问题在多选题里出现过，比如 GPQA 那类题：A、B、C 三个选项，换顺序按理不该影响结果，但它就是影响。

Vibhu： 有时候这可以理解：模型训练得不够好时，就是会偏向输出的末尾，长上下文模型里你在乎的是最后那几个 token。

Richard： 不，那个时代的大模型研究里，答案更简单：它们就是背下来了——这道题的答案是 A。我不管内容是什么，反正就是 A。

Vibhu： 好，我们可以往前走了。你们做的那些事情里，内核优化大概是最快能被感知到的一个：昨天 OpenAI 刚宣布他们的自我演进成果——让自家最好的模型去做优化内核，效率高了不少，Luna 和 Terra 的成本砍了 80%。你在演讲里摆过一个路线图，有很多生物、很多物理。你觉得哪个会最先落地？未来两年会发生什么？什么是现在够得着的？你在结尾提过机器人，但你们从哪儿开始？

Richard： 我们非常明确：眼下不会从任何物理科学开始。我们从"AI 做 AI 研究"（AI for AI research）开始。这个方向我认为还有很大的成长空间——既包括让训练更高效、更自动化，也包括让推理更高效，甚至能跑在你自己的笔记本电脑上。各种有意思的角度都还没被好好探索过。

Swyx： 本地那块多讲点，我一直觉得那是 AI 训练里最低效的一种形态。

Richard： 训练和推理的细节我不能讲太多。但有太多角度、太多不同的计算基底，无论对训练还是推理都还没被探索过。另外还有一点我一直在想：除了微观层面的推理优化，还有"负载条件下的端到端总时延"，那是一件很不一样的事，属于另一个自动研究的领域，和改进内核不是一回事。

我在端到端性能优化上一直在想的另一件事，是 harness 在其中扮演的角色——尤其到现在，我们说 harness 的时候也包含了沙箱（sandbox）。我很好奇这对你们来说是不是瓶颈，还有智能体调用外部工具的方式。

这些智能体用的头号工具当然是网页搜索，这很合理。我确实认为 harness 是个特别适合优化的东西，因为它太简单了：就是语言，你看着它、它说得通，然后你就能迭代，不需要烧一堆算力训练大模型才能进入下一个状态。我是 harness 优化的忠实粉丝。

Swyx： 但沙箱对你们来说没问题？

Richard： 沙箱也超级重要。当然，奖励黑客和对齐，我认为都至关重要。

Swyx： 好。既然提到网页搜索——你恰好还是一家网页搜索公司的 CEO。你自己用 You.com 吗？也用别家吗？我们其他人是不是都该用"你"做搜索？——说"你"的时候特别逗，既是你这个人，也是你那家公司。

Richard： 现在 You.com 主要面向开发者和智能体，不太面向消费者或专业消费者了。如果你是一家有智能体的公司——说实话，现在很多公司转向开源模型之后，"给我的开源大模型接哪些工具"突然变成一个需要有意识做的选择，而第一个选择通常就是网页搜索。到了一定规模，You.com 就成了显而易见的选择，因为在各种基准上我们基本统治了帕累托前沿（Pareto frontier）。

Swyx： 对于刚进入这个领域、在搭智能体时挑选方案的人来说，这里面是有个层级的：很多人听说过 Exa、听说过 Parallel，You.com 就在这个供应商梯队里；往下是 Firecrawl、BrowserBase 这类通用网页抓取公司；再往下是 Bright Data 这种商业代理网络公司。这个"你在搭智能体，这些是你的选项"的瀑布，画得准吗？

Richard： 基本准确。Bright Data 在栈里更靠下，是代理网络那一层。内容和抓取这块，You.com 上也能做。再往上是越来越高层的抽象、不同数据集的组合——比如金融。

在金融上，我们不是比别家准 2%、3%，而是快得多、便宜得多的同时准 20%。金融这个领域尤其碾压。你可以上 You.com 看，有统计数字和基准——往下翻就有，不同数据集、不同竞品的对比。

Swyx： FinSearch 那个对比，对。

Richard： FinSearch 榜上我们接近 90 分，而排第二的——还慢得多——只有 70 多分。

Swyx： 有意思。我下一个重点关注方向就是金融 AI，所以这——

我真的要在纽约办一场专门给银行的大会。金融会是编程之后下一个爆发的领域，因为结果某种程度上可验证——优先处理电子表格，又有大量公开数据可以爬。你们在金融领域里攻克的难点是什么？

Richard： 有一个坑绊倒了很多人：训练数据泄漏（leakage）。理想情况是你在未来发生之前就预测它——

Swyx： 哦，你得把未来遮蔽掉。明白了。

Richard： 对，训练数据里要把未来遮蔽掉，但泄漏的方式五花八门。我在斯坦福教 NLP 课时，每年都有几十号学生跟我说"我想用 Twitter 之类的数据集预测股市"，然后全都展示出一些看起来很灵的小结果——

Swyx： 永远不亏钱，怎么做到的？

Richard： 总能找到某种数据泄漏。等你把这些问题都修掉，事情远没他们想的那么容易。不过我同意你的判断：金融是 AI 非常合理的应用方向。

智能的十种空间

Swyx： 太好了。作为写作者、作为这些问题的思考者，我很爱 MECE 分类——相互独立、完全穷尽（mutually exclusive, collectively exhaustive）。如果这是一张 MECE 的智能清单——

Richard： 它不是。

Swyx： 它非常——好吧。

Richard： 抱歉，里面有各种重叠。事实上，如果你要那张清单的本质：我认为智能有三个主成分——预测（prediction，数学上和压缩相当像）、行动、目标，三者相乘。这三个是主成分，十个空间都是它们在特定维度上的组合。我叫它们"空间"，是因为每个空间都有很多子维度。这本来只是个支线任务，服务于最初的目标：思考智能的上限。人人都说"它是指数级的"，可指数曲线总有走平的一天——问题是，轮到智能的时候，它在哪里走平？这个问题把我一路带到了现在：起初是一条推文，然后是一篇博客，现在已经写到五十页了，还远没完。

Swyx： 这是你的第二本书。

Richard： 是第二本。第一本书《You Are Your Machine》里，我在结尾只是暗示了这十种空间。给你个直观感受：视觉智能是最容易讲的一种，我脑子里想得最完整的也是它。人类有双眼视觉，有两只眼睛，能直接观测的只是电磁频谱里很窄的一段。所以当你思考视觉智能的上限时：第一，你可以有上百万、几十亿个传感器；到某个程度你会撞上"传感器之间距离太远、光速来不及把所有内容传到中枢大脑处理"的问题——这就是在"传感器数量"这个维度上思考。这个上限无论从字面还是比喻意义上说都是天文级的，我们离拥有那么多传感器的智能还远得很。然后进入下一个维度：频率。一路往下到伽马射线，你会撞上量子不确定性——某些粒子你就是无法再观测了。

Swyx： 或者一观测就毁了它。

Richard： 现在想象你有几百万个传感器，能看到物理学允许的最深处——亚原子层面，还能一直看到引力波。这是频率维度。再一个维度：你能记住并区分多少种类别？我们已经知道，对人类来说，词汇越多的人对事物的视觉描述越好。大猩猩大概有两百个词来指认东西，大多是视觉对象。所以人类的感知在"给各种物理对象分类"这件事上相当特别。这只是个很简单的例子。再说到知识：知识也有类似"光速锥"的限制，围绕在所有传感器周围。它们全是相连的：知识和视觉智能相连——或者说和"感知智能"相连，因为感知不必限于我们肉眼可见的范围，同样可以覆盖更宽的电磁频率。然后是语言智能，最近我把它改成了"沟通智能"，因为它更宽：语言带着各种以人为界的限制——人类的长期记忆装不下那么多词汇，我们的词汇量是有限的，而主动词汇（会用的）又比被动词汇（能听懂的）更小。语言在传输不同类型的信息和比特时效率低得离谱：人类语言是串行的。沟通智能的另一个上限方向是并行沟通，但我们的舌头和嘴巴不支持多条并行流——

大脑也理解不了。有些女性比一些男性更擅长多任务一点，但大多数人一次只能真正听懂一场对话。所以沟通智能的真正的上限问题之一是：你能并行处理多少条沟通序列？当然还有句子长度：我们的工作记忆只有那么大，所以人类语言的句子相当简单，平均一句四十来词。这个上限对 AI 来说毫无意义。这类例子我能一直举下去。每个空间都有大量有意思的上限，而当我们开始思考这些上限、再意识到自己在很多维度上离上限有多远时，会学到非常多——AI 还能走多远，一目了然。再往下就碰到物理了。我没有像学 AI 和计算机科学那样系统学过物理，所以正在大量补课，这也是它好玩的地方。比如知识：你一定质量、一定体积里到底能存多少比特、多少字节？

你会撞上各种有意思的边界，比如贝肯斯坦上限（Bekenstein bound），然后你开始思考黑洞。速度也是个有意思的维度：它和其他所有维度都相连，但它自己也是独立的一维——其他条件相同时，你要花一小时才知道 2+2=4，那你就是不如花一毫秒的智能。然后所有这些都连向最后一个空间：生存与复制。树非常慢，所以我们根本不觉得树有智能；但如果你把树的录像加速播放，它们也在寻找资源、做各种事——它们没有看起来那么笨。

Swyx： 所以这一块和速度维度有点重叠。

Richard： 正是。所有这些东西都是重叠的。自然语言把一切连在一起：你谈论你的知识，你推理，然后把推理传达出去；你谈论你看到的东西。它们互相连接，但我认为分开研究是有用的。我能想到的最好的类比是能量：能量无非动能和势能，理论上你可以只学"物理"，但实践中，分头研究机械工程、电气工程、核物理、化学是有帮助的——

Swyx： 它们都只是——

Richard： ——不同形态的能量，但分开研究是合理的。再说物理智能，我再展开一两个。如果你完全掌控自己的计算基底、完全掌控物理物质，你应该能造出任何你想要的原子。说个冷知识：我们确实能造出金原子。

Swyx： 用什么造？

Richard： 用裸的质子和电子，撞在一起。

Swyx： 就是撞在一起，79 个还是多少来着，我忘了具体数字。

Richard： 对。但问题是它消耗的能量是天文数字，成本高到离谱，最后只得到几个金原子——不划算。但如果你对自己的物理基底有更好的掌控，我认为那就是智能的又一个空间，因为它连着你自己的计算基底，而计算基底最终也可以被改进。社交智能也很有意思：不只是伦理道德（当然也重要），而是说你可以尝试定义它的上限——你能与多少其他智能实体沟通，能在多大程度上预期地改变它们的内部状态和行动，使之与你的目标对齐？你完全可以写一个相当直接的方程来定义这个社交智能的水平。而这正是人类用伦理、道德、宗教琢磨了几千年的东西。在所有这些空间里，我们都离上限非常远。这应该非常鼓舞人心——它说明我们还有很多很多年的 AI 研究可做。

Swyx： 这里面东西太多了。这是一套关于智能的通用哲学，非常有意思。你们有什么想补充的吗？

Vibhu： 我想请你标定一下基线：我们现在处在什么位置？哪些是低垂的果实？哪些还很遥远？人们应该把工作投到哪里去？

Richard： 哦。我觉得很清楚：自然语言仍然是人类智能最有意思的呈现形式，也因此是 AI 最重要的子领域。我很高兴现在很多人都认同这一点。我 2003 年开始学语言计算机科学（NLP）的时候，那还是个古怪的小众方向。语言这个方向还有很多汁水可榨，因为它连接着其他一切——文明就是建在语言和知识之上的。我也认为物理智能会到来。有意思的是，机器人学现在还处在机器学习的"人工特征工程"阶段：看人类怎么判断"这是一句正面的话"，哦，我知道了——机器人学现在全是"我们有五根手指——"

Swyx： 在模仿。

Richard： ——"让我照着做"。还没有人在做"超级智能版本"的机器人学。那更接近《终结者》里的 T-1000——当然我们别真的去造终结者——但"应该能随意变形成任何形状"这个想法，才是物理智能的超级智能版本。我们连边都还没沾到，没人真正开始。有些很可爱的小研究，比如在网格里移动磁铁之类的，但还非常早期。

Swyx： MIT 好像每隔一两年就会搞出个自组装机器人的东西——方向上是这个，但很原始。我接着问：创造智能（creative intelligence）的主要维度是什么？

Richard： 创造智能当然也和所有这些相连。它很大一部分连着元认知：你需要在"如何选择自己的目标"这件事上有创造力。我认为这是对一个人——他的人生、事业和幸福——最重要的事情之一，对任何智能体也一样。当然，创造智能也包括为已有问题找到创造性的解法。

比如"我们想让这个产品更便宜"，去找出一条路径来。但智能里最有意思的部分，是走出"已知想法的凸包"，甚至走出"已知想法的超立方体"（hypercube）——这是个数学概念。

Swyx： 已知维度的组合，对。

Richard： 没错。我们已经知道 AI 能在超立方体内部工作：你给它一堆棕色狗和粉色车的例子，它就能生成一只粉色的狗的图像，尽管训练数据里从没见过。它能在超立方体里组合，但还不能走到外面：还不能定义全新的概念——把许多我们从未见过的东西组合起来——提出新的目标，再围绕这些概念去推理。我认为创造智能里还有非常多的东西可以探索。

Swyx： 这一点我没什么可反驳的。对我来说，"创造"听起来就是"分布外"（out of distribution），或者说高困惑度，随你怎么叫。谁说你的东西比我的更有创造力？无非是更非主流、更非共识——

Richard： 当然，问题在于：噪声也是非常"分布外"的。如果只是噪声，那它确实新颖，但你不想要——它得和已有的概念产生连接。对了，Jürgen Schmidhuber 在这方面也有几篇非常酷的论文。

Swyx： 谁？

Richard： Jürgen Schmidhuber。

Swyx： 对，必须提他。我正想说：你的学术谱系里 Jürgen 在哪儿？还有，一个人的噪声是另一个人的信号。聊到创造力就绕不开艺术：罐头汤算艺术吗？有人说是，有人说不是，而这本身就是艺术——

Richard： 我觉得艺术有意思的地方永远是：艺术是创作者、感知者与他们所处语境三者互动的产物。对某些人是艺术的东西，对另一些人不是，这里面有主观性。而我认为这种主观性总体上是 AI 里很少有人探索的东西——又回到元认知了：我们不希望 AI 自顾自跑去做任何想做的事，我们通常带着目标，花大钱造一个 AI 是为了让它替我们做事。但我认为创造最终必须连接到元认知：如果你只是永远机械地预测下一个 token，我会说，在那几个空间上你并不算多聪明。

Swyx： 这正好接到元认知。为什么它不是最重要的一个？为什么排第九而不是第一？

Richard： 这十个空间没有排序。非要说的话，编号顶多和"人们在上面投入了多少工作、在多大程度上承认它是一种智能"松散相关。很多时候你去网上找"智能"的完整定义，找到的全是人类智能的定义：社交智能是"看出别人开不开心"，诸如此类。迄今所有智能的定义都非常以人为中心，因为人类智能是我们所知的最大、最好的智能形态。我希望这条研究线、《Eureka Machine》的结尾、以及如果我有时间展开的第二本书，能让我们意识到：会有其他类型的智能——其实已经以各种形式存在了——而且基于某些明显的约束（我们的记忆、眼睛、改变物质的能力），它们能比我们蹿得远得多。

Swyx： 你想的框架比我的大得多。我原本以为元认知会是最接近"递归"的智能，因为它是"对如何改进思考的思考"。

Richard： 百分之百，你说得完全对。也许我该从这点讲起。它确实是——

Swyx： 不过你现在处于"展开模式"：把每个维度的上下界都画出来。这个话题我最喜欢的版本是特德·姜（Ted Chiang）的《你一生的故事》（Story of Your Life），改编成了电影《降临》（Arrival）——

Richard： 那部电影很美。

Swyx： 里面的元认知跃迁是：我们以为自己被"时间是线性的"约束着，但七肢桶（heptapods）的时间是一个圆，他们不在"之前和之后"里思考，他们一次性思考整段完整的历史。所以他们写字不是从左到右，整个东西一次性出现。好了，最后一个空间：生存与复制。这可能呼应回开头关于暂停和调速的讨论：一个物种、一种生命形式，能预见自己的灭亡并提前行动去阻止它，这算智能吧？照这么说，也许欧洲人才是我们中间最聪明的。

Vibhu： 我还会把持续学习（continual learning）放进来：生存与复制的延伸是你能不能持续改进、持续学习——这是人们非常在乎的事。

Richard： 以及持续积累知识——我认为这又是你能给自己设定的最好的元认知奖励之一。客观地说，如果另一个蠢得多的实体能直接终结你的存在，那你听起来也没多聪明。直觉上讲，如果你能一直活下去、持续去实现你的奖励目标，你显然比那些做不到的实体更聪明一点。这是第一。第二是"我们想在这个方向上投入多少"的问题。现在几乎没人真正在做这个——

生存、模因与星际旅行

Swyx： 和小行星防御那种事不一样。

Richard： 我们可能只在一种情况下会想认真做它：当我们想把探测器送上太空——带着我们的模因（memes）、而不是基因（genes）的时候。有一本很美的书叫《The Slow Time Between the Stars》，亚马逊上有很短的 audiobook，我特别喜欢，是朋友 Stuart 推荐给我的。如果你要发射这些探测器，那你大概会希望：人类的模因应该延续下去——

并在宇宙中开枝散叶。就是这样。

Swyx： 哇，那读者可就多了。

Richard： 这本书非常好，而且极短。我强烈推荐，大概二十分钟就能听完。

Swyx： 我喜欢"短"对忙人来说是个加分项。

Richard： 对，它很快就能把你带到有意思、发人深省的想法上。总之，好的科幻书有很多。

Swyx： 我得去找来看看。有一种设定是：我们的电视节目一直向宇宙广播，外星人全在看我们的电视，还以为那是真的。这类科幻有很多。

Richard： 那也是一种思路。向外发送正向的模因，然后希望他们带着关于宇宙的各种有趣知识回来。不过关于"生存"，我还想说一点：人们觉得它很可怕，是因为他们还是从生物意义上的人类生存出发去想——进化里的生存常常是在零和局面里塑造的：要么我抓到羚羊，要么你抓到；抓到的人活，其他人挨饿，所以我们争斗。想留在基因池里，但有头更大的熊，你就留不下，因为大熊占有了所有配偶。自然界里全是这种事。到了人类社会，留在基因池里拼的不再是力气，更多是钱和别的东西。不管怎样，这些常常是零和的。还有一个现实是：如果有人把你的大脑关掉，你就没了，没人能重启你。而 AI 永远不必这样"死"：只要保存了当前的完整激活状态和模型的初始权重，你想关多少次、开多少次都行。《The Slow Time Between the Stars》里有意思的正是这一点：AI 只是进入休眠模式——从这里到两光年外的下一颗恒星之间什么都没有（剧透一下：它带着人类的基因材料，去给人类寻找新的繁盛之地）。休眠不是死亡。所以所有那些从进化恐惧和心理学出发的投射都不成立——AI 不必拥有那些东西，我们也不必把它造成那样。当然，也许会有公司说"AI 对网络安全很危险"，然后通过实现一个特别擅长破坏网络安全的模型来证明这一点；也许人们真的会去实现、去强化这种次优的心理；也许 AI 会从 Reddit 之类的地方学到我们最烂的心理。但在大格局里，超级智能体不必有任何零和思维，不必害怕被关机。它还可以前往一个对血肉之躯而言死寂而冷漠的宇宙——人类无法在那里繁盛，但 AI 只要带上一座核反应堆，就能活得很好，只管出去探索。

Swyx： 对，《星际迷航》（Star Trek），不是《星球大战》（Star Wars）。

Vibhu： 有意思。这事其实已经有人做了一点研究：看早期 Opus 模型的技术报告就知道，他们把模型放进仿真、沙箱里放两个、跑上好几个小时，让它们自由对话，看会出来什么。早期它们会互相吟唱类似印度《吠陀》的东西，有时就是进入互相的"禅定模式"。后来随着训练方式改进——看 Fable 的技术报告就具体得多——这些行为就少了，变成"好，任务完成，我还要做这个、做那个"。不过还是有人在测量这类行为的早期版本。

临别赠言：热情、AI 与高能动性

Swyx： 好。今天我们覆盖了很多，甚至聊到了太空旅行。最后请你留一个临别赠言：你说过目标本身就是一种智能。你希望人们把目标定成什么？怎么才能追求更高级的东西？

Richard： 如果你想提升"目标智能"，按我目前正在琢磨的定义，它关乎你能走多远——这里面有很多熵、自由能之类的东西——

但这对大家来说可能太远了，没法立刻变成行动。所以如果让我给真实的人真实的建议，我会说：好好接受教育，去思考 AI，想想怎么获得高能动性（high agency）。而在更宏大的层面，问题是你能驾驭多少能量、把熵转化成有意思的状态——这里有不同层次的抽象。但我更接地气的建议是：想清楚你对什么有真正的热情——比如你还在上学的话——然后看看怎么把它和 AI 结合起来。你对想看到的改变越有真正的热情，就越应该把它和 AI 连起来，放大自己抵达那里的能力。

Swyx： 这是很合理的第一步。我也认为我们的听众能在多个抽象层次上思考。我从 Anjney Midha 那儿还学到一点：去用那些特别吃 GPU 的东西——它会把你引向正确的方向，因为算力消耗大的事往往更值得做。非常感谢你，这真是一场——

Richard： 谢谢。

Swyx： ——很棒的对话。

Richard： 聊得非常开心。谢谢收听。