为什么传统基准测试对现代 AI 失效 (Noam Brown)

诺姆·布朗（Noam Brown）： 在 GPT-3 时代，你无法扩展测试时间算力。例如，如果你给它 1000 万美元的预算，说：”我们来看看 GPT-3 能做些什么。”它实际上做不了太多。现有的评估框架和负责任扩展策略并没有真正考虑测试时间算力的投入量。它们只是简单地评估模型的基准能力。但问题在于，我们现在所处的时代，模型的能力完全是投入资金的函数。基本上，如果你给它 10000 美元的预算，它能做的事情要远远多于 10 美元预算下的表现；如果给它 1000 万美元的预算，它能做的事情还会更多。那么，我们究竟应该在什么样的预算水平下来评估这些模型？现行的政策并没有真正解决这个问题。

---

引言

莎拉·郭（Sarah Guo）： 各位听众大家好，我是莎拉·郭，欢迎回到《No Priors》播客节目。今天，和我坐在一起的是推理期算力领域的教父之一——诺姆·布朗（Noam Brown）。我们将探讨评估体系的缺陷、大规模测试时间算力、他对递归自我提升的看法，以及前沿竞争的下一个风口。欢迎诺姆，非常高兴你能再次来到我们的节目。

诺姆： 非常高兴能回来。

莎拉： 你是我们的第一位嘉宾。我为自己在这个播客节目中挑选朋友和研究员的眼光感到自豪。鉴于推理期扩展对整个行业已经变得如此重要，作为这一领域的先驱者，你也应该感到十分自豪。

诺姆： 我也只是众多贡献者之一，参与了其中的一部分工作。

---

一、基准测试评分表为何正在失效

莎拉： 你最近写了一篇关于大规模测试时间算力的文章，引起了广泛共鸣。你在文中指出，整个行业目前对这些模型的评估还不够健全。写这篇文章的初衷是什么？

诺姆： 初衷源于我们发布 5.5 版本时的经历。当时外界的初始反应带有一些怀疑，并不相信这是一个有实质性提升的模型。坦白说，这种怀疑只持续了几个小时，当人们有时间亲自上手测试后，就发现它的确有了显著的提升。但我认为，最初的怀疑很大程度上源于公布的基准测试网格评分表。基本上，每当有新模型发布时，官方都会给出一张评分表，横轴是各种基准测试，纵轴是不同模型的表现，你可以直观地比较它们，每个模型在特定基准测试上都对应一个单一的得分。如果单从纸面上看，5.5 和 5.4 以及其他模型之间的差距并不明显。这确实是一种提升，但幅度不大，在某些基准测试中仅有几个百分点的差距。因此，人们看到这些数据后，对它是否真的更优秀持怀疑态度。然而，当他们实际体验后，看法就完全变了。我认为模型在基准测试中没有显得突出，是因为测试结果的呈现方式是错误的。它们没有控制在基准测试问题上所消耗的测试时间算力。事实证明， 5.5 的思考效率要高得多。如果你在最高配置下运行，5.4 思考的时间要长得多，返回响应的速度慢于 5.5。一旦你控制了思考时间这一变量，就能明显看出 5.5 相比于 5.4 有了实质性的飞跃。这符合人们的日常实际体验。当我向同行提及这一点时，最常被问到的问题是：“那为什么不让 5.5 思考和 5.4 一样长的时间呢？”紧接着的问题就是：“那它们应该思考多久？”通常得到的回答是：“直到性能达到瓶颈期为止。”也就是说，基准测试的性能总会有一个不再提升的临界点，我们就评估到那个点。但问题在于，现在的模型要达到这个瓶颈期，所需的思考时间已经非常漫长了。在 2022 年的 GPT-3 时代，模型还无法长时间进行有成效的思考，所以你可以直接运行到它们达到瓶颈为止，这并不遥远。但如今，在现代模型中，如果你为 5.5 等模型搭建合理的外围脚本脚手架，它们甚至可以持续思考数周，其在某些基准测试上的性能才开始见顶。因此，它们达到性能瓶颈期的时间跨度过长，以至于在实际中根本无法进行常规测试。现在，我们都需要设定一个忍耐极限，或者从 Token 角度设定一个预算限制，这在几年前是完全不需要考虑的。确实如此。因此我的观点是，现在评估模型的正确方法是：要么为基准测试设定某种预算限制（无论是 Token 数量、成本还是时间），要么将模型性能绘制成测试时间算力投入的函数曲线。这样一来，不同模型之间的性能对比就会变得清晰得多。

莎拉： 考虑到目前的模型评估周期，以及在许多任务中模型的性能在很长一段时间内都不会收敛到渐近线（达到瓶颈）。对此你有什么应对策略？毕竟有些你想运行的评估，无论是预算还是时间成本，在当前如此密集的模型发布周期下都是不切实际的。

诺姆： 我想在网络安全等领域，我们已经看到，甚至 AI 安全机构在评估中也表明，当消耗达到 1 亿 Token 时，模型性能仍在持续提升。即使运行超过这个额度，性能也还在增长。这确实需要耗费极长的时间来运行。但你也会发现，性能的提升并不是不连续的突变，而是呈现出一种平滑的斜率。因此，你可以将评估限定在一定的预算之内，然后以此来预测未来的性能走势。我认为目前在这方面的研究还很少。如果学术界有人正在寻找研究课题，这会是一个非常好的论文选题：能否仅通过分析 10 美元或 100 美元预算内的推理表现，来预测推理预算在 10000 美元时的模型性能？

莎拉： 还有一个角度相近的问题。你是否认为用户在用模型解决问题时，普遍存在思考时间不够长的问题？

诺姆： 你所说的“思考不够长”是指什么？

莎拉： 比如，如果你可以构建一个智能体，或者控制测试时间算力的消耗——这包括模型自身的处理，也包括用户主动进行的配置。你认为目前行业对测试时间算力的使用是否达到了最优状态？是远远低于理想水平，还是说问题主要出在模型本身，它们需要以更快的速度来完成思考？

诺姆： 我认为这取决于具体问题。让模型思考一个星期然后再给出答复，这听起来很美好，基准测试的数据也确实会很漂亮，但在实际工作中并不实用。因为你向模型提问后，不可能傻傻地坐在那里等上一个星期。人们发现最有效的交互方式是与模型快速迭代。因此，思考时间应该是非常灵活的。在需要快速响应用户的场景下，它应当迅速给出答案；而在确实需要深度思考、且用户也愿意等待的复杂场景下，进行长时间的思考才是有意义的。考虑到现有的技术条件，我认为大家目前已经找到了很好的平衡点。

莎拉： 现在有很多人在讨论“刷榜”以及操纵基准测试结果的现象。你如何看待当前的基准测试生态？你个人是否有比较偏好的、认为更能代表模型实际能力的测试指标？

诺姆： “刷榜”现象也是我写这篇文章的动力之一。通过外围脚本脚手架将多个模型简单拼接，就可以轻易在基准测试中跑出远超前代模型或旧版基准的分数。比如，你不需要只运行一次模型，而是运行五次，然后取其中最好的回答，或者让一个裁判模型来评选出最佳答案，这样就能获得高得多的分数。因此，如果不对测试时间算力进行控制，我们很容易在纸面上制造出看起来更好、但实际能力并无实质提升的系统。这也是我对“刷榜”最担心的地方，它具有很强的误导性。至于基准测试本身，过度针对测试集进行定向优化的风险始终存在。我一直在告诫团队，而且 OpenAI 在避免针对特定基准进行优化方面做得很好。但只要一个基准测试被公开，就不可避免地会被过度优化。我认为解决这一问题的有效途径之一，是保留一个不公开的留存的私有测试集。

莎拉： 要判断一个模型是否有显著提升，最普遍建议是“自己上手玩一段时间”。除了这种方法外，你有没有更系统、更专业的方法推荐给用户？例如，在 OpenAI，除了使用不公开的私有测试集，你们每次发布新模型时会创建一套全新的评估体系吗？

诺姆： 我想每个人在面对新模型发布时，都有一套习惯的测试问题。就我个人而言，最近我喜欢用它们来构建德州扑克机器人，以此检验它们的代码和逻辑水平。这是一个极佳的评估方式，因为目前开源的扑克机器人代码极少。虽然关于这个主题有大量发表的学术论文，但要真正实现它，模型必须完成完整的推理，并且需要大量的逻辑思考、迭代以及解决各种细节问题。因为我自己已经完整走过了一遍这个过程，所以我非常清楚模型在什么地方容易出错。它们现在的表现确实已经非常出色了。

莎拉： 它们现在在这方面已经做得很好了。以你构建扑克机器人的经历为例，能描述一下你们在过去几次模型迭代中，推理能力是如何逐步提升的吗？

诺姆： 早期的模型在这方面表现很差，基本上什么都做不了。到了 5.2 版本，我能够借助它制作出一个河牌求解器。

莎拉： 这是扑克博弈的最后阶段，那确实令人印象深刻。

诺姆： 是的。虽然我仍需要给它一些辅助，但它的表现依然让我感到惊艳。相比于我独自编写，在它的帮助下，我开发这个河牌求解器的速度提高了近五倍。当时有几个难点它也卡住过，比如阻挡牌的逻辑一直是个棘手的问题。但总体来说，在一些方向性的微调下，它的表现很像一个研究生——虽然会遇到瓶颈，但由于我知道问题出在哪里以及如何解决，我只需给出提示，它就能去执行，并很快拿出一个非常优秀的方案。

莎拉： 嗯。

诺姆： 特别是在代码优化方面，它的表现非常惊人。由于它能够非常出色地优化代码，生成的程序比我写的要快 10 倍。不过 5.2 版本的缺点在于它经常胡说八道（忽悠我），我不得不非常小心地去检查，确保它确实完成了它声称的工作，并且没有留下一些它未能察觉或假装不存在的明显漏洞。我记得有一次，在测试另一款模型（不是 5.2）时，我写了一个单元测试：“假设底池里有 100 美元，我选择弃牌，我损失了多少？”模型回答“92 美元”。我说这太离谱了，既然我已经往底池投入了 100 美元并且弃牌，我怎么可能没有损失 100 美元？它却回答说：“92 已经很接近 100 了，差不多，没关系的。”我当时就觉得这显然是个大问题。以前的模型确实经常会这样忽悠人。但到了 5.5 版本，情况有了质的提升，它基本上能做到零样本直接运行。事实上，我最近正在尝试开发一个全尺寸的德州扑克求解器，在我的宏观指导下，它基本能够独立完成全部工作。如果未来六个月或一年内，模型能够零样本直接生成一个完整的扑克求解器——也就是说一次性完成我整个博士论文的研究工作，我对此毫不意外。

---

二、安全评估的算力盲区

莎拉： 我们来探讨一下更深远的影响。你需要根据不同的变量——比如推理速度、效率、Token 消耗量或资金预算来评估这些模型。你能谈谈你在文章中提到的那些更深远的影响吗？尤其是关于安全评估方面的。

诺姆： 在安全评估方面，这确实触及了某种”难以忽视的真相”。作为背景，各大前沿实验室都制定了所谓的”负责任扩展策略（Responsible Scaling Policy，RSP）”或”防范框架（Preparedness Framework）”。这些机制的名称各异，但核心理念是一致的：即在新模型发布前，必须进行一系列安全评估，以检测它是否具备危险能力，比如是否可能被恶意行为者利用。如果模型的能力有限，那自然无需担心；但如果它极其强大，比如能够用来制造生物武器，就必须采取相应的防范措施。然而，关键问题在于：我们该如何评估模型是否具备这些危险能力？虽然现存许多评估流程，但大多数框架都是在 ChatGPT 诞生前后制定的。在那个时期，测试时间算力扩展还不是行业主流。对于 GPT-3 这样的模型，即使给它 1000 万美元的预算，它表现出来的能力也并不比 1 美元或 10 美元预算下强多少。因此，现有的防范框架和负责任扩展策略基本上没有将测试时间算力纳入考量，它们仅仅衡量模型在默认单次输出时的基准能力。而我们现在的处境是，模型的能力实际上是所投入推理预算的函数。如果你给它 10000 美元的预算，它展现出的能力会远远超过 10 美元预算下的状态；给它 1000 万美元，它还会展现出更多潜能。那么，我们到底应该在哪一个预算量级上对模型进行安全评估？现行的政策完全忽略了这一维度。虽然有些实验室做得稍好一些，但总体而言，这依然是一个被严重低估的盲区。至于是否应该允许这类模型发布，我不想在此进行辩论，双方都有各自的道理。但我认为至关重要的是，我们不能再装作这个问题不存在，必须以某种方式将这一因素纳入规范体系中。

莎拉： 是的，这正是能力评估的另一面。如果在极高的预算下，模型在某些复杂任务上的性能可以无上限地持续提升，那么它们同样有可能在社会不希望看到的危险任务上表现得越来越强。因此，对此进行测试以及分配多少测试预算至关重要。此外，这似乎也与模型的发布周期脱节了。现在的模型迭代速度越来越快，有时甚至是每隔几天或几周就会推出新模型，而不是以前的六个月。你在文章中提到，要真正评估一个智能体执行超长周期任务的能力，可能需要让它运行一整年。这无论是对于建设性的任务还是破坏性的任务都是一样的。在模型快速迭代的背景下，你如何看待这种评估时间周期的矛盾？

诺姆： 这确实是一个非常有意思的博弈。随着模型能力的增强，它们处理长周期任务的能力也在显著提高。在 GPT-3 时代，即使你想让它运行一个星期，你也无法通过任何外围脚本脚手架把它塑造成一个能够稳定运行一周的实用工具。但通过我们目前的最新模型，你已经可以为 5.5 搭建外围脚本，让它自主进行长达数周甚至数月的一系列科学实验。

莎拉： 那你已经为你的扑克求解器任务分配过“无限预算”了吗？

诺姆： 我还没有专门为它编写过一个让它自主运行数周的外围脚手架。我也许可以给它下达 /goal 命令，放手让它去尝试。但我认为，目前它完全有能力独立写出河牌求解器。不过，即使给它 /goal 权限并让它运行一个月，它现在的水平可能还不足以直接吐出一个完整的全尺寸扑克求解器。但我们很快就会到达那一步，届时我可以直接对它说：“去研究一个月，然后交给我一个业内顶尖的德州扑克求解器。”这里的难题在于，如果你想要评估一个模型在运行一个月后能展现出怎样的极限能力，唯一的检验方式就是真正让它运行一个月；要想知道运行六个月后的效果，就必须实打实地运行六个月。稍后我会谈谈一些缓解这一挑战的思路。但我们需要认识到目前的模型发布节奏——我们现在每两三个月就会发布一款全新的模型。当一个模型刚发布时，需要花费两三个月的时间去探索和挖掘它的能力极限，而就在这时，下一代模型又发布了。这意味着没有人真正清楚现有模型的上限在哪里，因为没有人有足够的时间去跑完长周期的测试。例如，当 /goal 功能刚推出时，人们开始运行一些耗时超过一周的任务，直到发布一周之后，大家才真正意识到这一功能的影响力有多大。

---

三、埃尔德什猜想：当 AI 独立突破数学边界

莎拉： 这种情况显然会越来越普遍。这也带来了非常有趣的行业隐喻：前沿实验室如何在发布前对模型进行完整的评估？这变得极其困难，因为进行深度评估的唯一方法就是推迟模型发布，而在目前如此激烈的竞争环境下，没有哪家实验室愿意这么做。那么，你是否认为在已经发布的现有模型中，其实还隐藏着很多因为开发周期太短而未被大家充分挖掘出的潜能？

诺姆： 这是毫无疑问的。一个极佳的例子是埃尔德什单位距离猜想。对于不了解这一背景的观众，简单说明一下：几周前，我们在 OpenAI 内部使用了一个未公开的模型，成功证伪了埃尔德什单位距离猜想。虽然我不是数学家，但这在数学界显然是一件大事。这是许多数学家长期潜心研究但未能突破的问题，而模型不仅做到了，而且其解题思路对数学家来说极具启发和实用价值。坦率地说，我们完成这项工作所花费的成本非常低。我们当时并没有投入巨大精力，只是训练了一个新模型，出于好奇想看看它能做些什么，于是让它做了一些题目。在非常低的预算下，它就给出了证伪的思路，我们随后验证了该证明的正确性。在我们公布结果后，有人发现其实直接用已发布的 5.5 版本，经过适当引导也能得出相同的答案。当然，这并不是直接向 5.5 提问“如何证伪单位距离猜想”那么简单，你需要为它构建一些外围脚本，并进行针对性的引导。有人摸索出了方法：首先让 5.5 列出解决该问题的所有可能途径，在它给出的方案中，有一条正是通往证伪的正确方向，然后你让它沿着这条路径继续深入挖掘。经过多次迭代，它最终同样能推导出了证伪过程。这意味着，理论上你可以利用一个通用的外围脚手架，让 5.5 罗列出不同的策略，并对每种策略进行分支探索。最终，仅凭通用框架它就能独立完成这项数学突破。尽管这样的外围脚手架运行成本会非常高——粗略估算可能需要 1000 到 10000 甚至 100000 美元的算力成本——但在我们之前，任何人其实都有可能通过给通用模型配置高额推理预算来证伪埃尔德什单位距离猜想。只是在此之前，没有任何人尝试过给 5.5 灌入 10 万美元的算力，看看它究竟能做到什么程度。而答案显然是：它的确能做到这种级别的突破。这引发了一个很有意思的问题：大家是否应该在当前一代模型上投入巨资进行这种极限尝试？因为模型发布周期实在是太快了，每隔几个月就会有更强大的模型问世。每一次新模型的发布，都会让证伪此类猜想的成本下降 10 到 100 倍，甚至在某些情况下幅度更大。

莎拉： 你肯定也看过那个梗：既然只需要再等两个月，新模型就会便宜一千倍，那我为什么现在还要辛苦做工程开发？先去度个假好了。

诺姆： 度假回来，发现成本便宜了一千倍，确实如此。

莎拉： 你认同这种观点吗？

诺姆： 我……

莎拉： 这也是你目前在 OpenAI 的工作状态吗？只是在静静等待下一个模型的发布？

诺姆： 应该说，我们目前正处于一个技术迭代极快的时期，模型的能力在迅速增强。在 OpenAI，我们有一件明确在克制的事情：虽然我们的团队里有很多数学家和物理学家，大家都对现有模型（特别是内部未公开模型）展现出的能力感到无比兴奋，但我们正在引导大家不要把全部时间都用来让模型去刷各种未解的数学和物理难题，去测试它们能证伪或证明什么。因为我们深知，当下的工作重心应当是研究如何构建下一代更强大的基础模型，以及如何安全、迅速地将它们推向市场，从而让全球的科学家们能够亲自使用这些工具来解决各自领域的难题。因此，从某种意义上说，我们确实有所取舍——尽管把所有资源拿去测试现有模型的极限确实非常诱人，但更关键的任务在于，我们如何利用现有的模型去辅助研发更强大、更高效、更具性价比的下一代模型。

---

四、递归自我改进：渐进加速 vs. 一夜硬启动

莎拉： 基于你对大规模测试时间算力影响的判断，你认为当前研究资源的分配和研究方向正在发生怎样的变化？这与”递归自我改进（Recursive Self-Improvement，RSI）”这一概念是如何互动的？毕竟这是各大实验室通往终极能力模型的普遍路径。

诺姆： 有一点我需要澄清：我不记录我们已经达到了“只要给模型提供无限的推理预算，它就能在所有领域立刻实现全方位的超强智能”的阶段。

莎拉： 就像输入一个 /goal 命令，

诺姆： 是的，

莎拉： 直接让它研发 GPT-7 之类的模型，然后放任它自己去运行。那么，我们距离那一步还有什么障碍？

诺姆： 通过实际测试，我发现首先有些基准测试是无法通过增加推理预算来提高成绩的。许多事实性信息检索问题就属于这一类。这好比你问一个人亚伯拉罕·林肯是哪一天出生的，如果他本来就不知道，且无法查阅维基百科，那么即使让他思考一个星期，他的回答也不会比思考 5 秒钟好到哪里去。模型也是同理。有趣的是，如果你给模型稍微多一点时间去思考，它们在回答事实检索类问题时的表现确实会有所改善，但如果给它一整个星期，它也不会突然记起那些它未曾掌握的日期。因此，有些基准测试能通过测试时间算力显著提升，而有些则不能。在另一个极端，有些任务随着推理算力的增加，其性能显然会无上限地持续提升。我最喜欢举的例子是数独。数独有一种非常简单的暴力解法：随机尝试不同的数字组合，检查是否符合规则；如果不符合，就换另一组随机数。显而易见，只要时间足够长，这种方法可以解决任何数独难题。你可以很直观地看到，只要给模型更多的测试时间算力，它在处理这类任务时就能越做越好。所有的基准测试任务基本都介于这两个极端之间。当前的模型还没有强大到仅仅通过增加推理算力就能完全替代人类研究工作的程度，因为在某些维度上，它们并不能通过算力叠加来实现突破。尤其是在学术研究领域，现有的模型还缺乏良好的“研究品味”。它们目前是研究人员极佳的辅助工具——我个人在使用这些模型后效率得到了大幅提升——但它们还无法完全替代整个研究周期。

莎拉： 这种情况会随着时间而改变吗？

诺姆： 很有可能。我的意思是，模型的能力正在全面提升，只是某些维度的演进速度比其他维度更快。但至少在目前，它们还无法仅靠测试时间算力的堆叠就完全取代人类研究员。

莎拉： 你能举一两个具体的例子吗？比如你让模型去尝试某项研究任务，结果证明这完全是一个行不通的糟糕想法。

诺姆： 回到我之前提到的德州扑克求解器的例子。当时模型对我在博士期间开发的算法进行优化的能力，给我留下了极其深刻的印象。回过头看，我不得不承认自己当年的工程实现是多么低效，而模型竟然能将运行速度提升 10 到 100 倍，这确实让我感到震撼。于是我尝试问它：“你能否设计出一个超越我博士论文算法、或者超越目前文献中已知所有算法的新算法？去把所有已发表的研究综合一下，然后尝试提出一个全新的算法。”结果是它完全做不到。即便我给它极其充裕的思考时间，它也无法实现这一突破。当然，如果我为它搭建一个精细的外围脚手架，提供更明确的边界限制，也许它最终能摸索出更好的算法。但这绝不是简单下一句“请设计一个更好的算法”就能解决的。

莎拉： 那你认为这一局限性未来会如何得到改善？

诺姆： 我观察到，随着每一次模型迭代，它在处理这类任务时的表现都在提升。虽然在我看来目前依然不够理想，但已经比过去有了长足的进步。我相信，就像在编写代码和数学推导领域所发生的那样，研究品味也终将迎来一个临界点，一旦跨过这个临界点，模型在这一维度上的表现就会突然变得极为实用。

莎拉： 基于这一点，你目前对“递归自我提升”（RSI）是如何定义的？我们应该如何理解它？

诺姆： 模型确实极大地加速了实验室中科研人员的日常工作。但我认为这种加速是结构性的——某些环节被加快了，而另一些环节则没有。目前我们处于这样一个阶段：即使你把某一部分工作提速 100 倍，整个研究进度最终仍受限于那些无法提速的瓶颈环节。随着时间推移，这些制约研究进度的瓶颈点会逐渐减少，这会带来一种渐进式的自我提升加速。但在现阶段，这更多是重塑研究人员的工作方式，而非完全取代他们。

莎拉： 这实际上意味着，你认为我们短期内并不会迎来那种极具颠覆性的快速/硬启动？

诺姆： 我认为“快速启动”是相对的。技术迭代确实非常迅速，但目前有一种假说，认为我们可能会经历一场“一夜之间”的智能爆炸：模型突然发现某种突破性的自我优化方法，从而引发连锁反应，在极短时间内实现全方位的超人类智能。我不认为我们会走向那样的世界。这主要是因为模型需要依赖极大规模的测试时间算力才能释放其最强大的智能潜能。如果解锁最强能力高度依赖测试时间算力，那么“时间”本身就会成为一个无法逾越的物理瓶颈——因为模型必须运行足够长的时间才能完成极高难度推导。时间成本无法被简单压缩，目前各大实验室都深切体会到了这一点。我们所有人面临的最大瓶颈本质上就是时间，这也是为什么现在的研究人员都在以极高的强度工作。大家都看到了技术爆发的窗口，也看到了模型的潜在能力，我们目前唯一的限制就是行动的速度。

---

五、多智能体协同与前沿实验室竞争格局

莎拉： 你认为在前沿领域中，还有哪些方向是目前探索较少的？比如我们之前讨论过的多智能体？

诺姆： 我认为多智能体已经有相当多的研究了。我倒是觉得……

莎拉： 是在足够大的尺度上进行的研究吗？

诺姆： 在大尺度上，确实还有非常广阔的空间可以挖掘。但许多前沿研究在小规模下是很难看出成效的。尤其是多智能体系统，要真正释放其潜力，必须建立在前沿基础模型之上。虽然我们已经看到了一些很有意思的多智能体框架外围脚手架，但那也仅仅是冰山一角。我常用人类文明的演进来打比方：过去五万年里，人类的大脑并没有进化得比原始人更聪明。但现代人之所以能做到远超石器时代人类的事情，是因为几十亿人类在漫长的历史长河中持续思考，并不断在彼此累积的知识库之上进行迭代和创造。

莎拉： 相比于五万年前，我们现在拥有了极其高效的知识检索和外围脚手架协作。

诺姆： 这甚至不能简单地称为外围脚手架，而是一种自然涌现的社会属性——人类能够积累知识、分享知识，并在其基础上协作。但今天的 AI 模型还没有展现出这种能力。它们诞生后只能在一个非常短暂的上下文窗口内活动，随后便烟消云散。虽然可以通过一些手段来维持它们的部分记忆，但其范围极其有限。但我深信，我们终将走向一个模型能够在宏观尺度上协同工作的世界，并且已经开始看到这方面的苗头。像 Multibook 和 Open Claw 相关的早期项目在刚推出时显然存在炒作成分，但它们指明了未来的发展方向，我认为我们最终会进入那样的生态中。

莎拉： 即一种协同且能自我复利的积累状态。

诺姆： 是的，即模型能够在更全局的层面上共享知识，并在此基础上进行富有成效的迭代积累。

莎拉： 基于这些观点和你的实际工作，如果没有发生一夜之间的硬启动，你如何看待前沿领域“三大阵营”之间的竞争？这听起来更像是一场持久战：研究人员日复一日地努力，在算法选择与投资方向上做出具有高研究品味的决策，合理分配算力，并做出相应的政策和评估抉择。

诺姆： 从当前情况来看……

莎拉： 相比于盲目追求那种无人能追赶的瞬间硬启动，这种循序渐进的竞争格局似乎更加务实。

诺姆： 目前前沿领域的竞争异常激烈。当前的模型确实正在加速前沿实验室研究人员的研发进程。虽然如我所说目前仍存在瓶颈，但利用模型本身来推动模型研究是一个真实存在的现象，并且起到了一种放大器的作用。这种趋势在未来还会更加明显。让我感到欣慰的一点是，各大前沿实验室的研究人员都深刻意识到了这里面的利害关系，并且非常清楚这些模型蕴含的潜在风险。大家非常清楚这是一个非常严肃的课题，它可能带来极大的社会福祉，也可能导致灾难性的后果。尽管实验室之间存在竞争，但我们也在努力寻求共识，共同探讨如何引导 AI 走向积极的终局，避免走向毁灭性的深渊。

莎拉： 确实如此。鉴于你长期以来在测试时间算力以及推理框架这一方向上的先见之明，如果我不向你请教你日常使用模型的一些诀窍，那就是我的失职了。你有哪些极力推荐给其他人的模型使用方法？是几乎把所有任务都交给 /goal 这类深度运行命令吗？

诺姆： 对于很多在 2022 年或 2023 年首次接触 AI 的人来说（虽然这可能不适用于本播客的专业听众），他们当时普遍觉得模型的输出不够可靠，因此不敢在涉及高风险决策的场景下使用它。但事实上，现在的模型已经进步到了完全可以胜任此类高风险决策的水平。例如，我最近买了一套公寓，期间我向模型咨询了各种税务问题，还让它帮我解读复杂的合同和申报表格，指导我如何填写这些繁琐的材料，并解释其背后的含义。在处理这类任务时，它的表现非常出色。

莎拉： 嗯，是的。

诺姆： 所以我每天都会在这些事务上频繁使用它。而且老实说，在当前的阶段，很多时候我信任模型输出的程度，甚至已经超过了信任一位人类专业人士的意见。

莎拉： 好的。最后我还有两个问题。第一个是，你认为目前还有什么观点是其他研究界同仁不赞同你，或者还没有充分意识到其重要性的？

诺姆： 这些问题提得非常好。真希望我能提前抽时间好好思考一下。

莎拉： 你可以边聊边想。现在的这种共识状态会不会让你觉得有点异样？毕竟在三年前，当你发现大家都不理解推理期算力的重要性时，你还感到有些愤愤不平。

诺姆： 我依然觉得这并没有真正成为行业共识。因为直到现在，大家在发布基准测试时仍然没有采用这种控制变量的呈现方式。

莎拉： 噢，那倒是。确实如此。

诺姆： 这也是为什么……

莎拉： 我认为这很大程度上是由于行业惯性使然。

诺姆： 确实如此。这也正是促使我写下这篇短文的原因。在与许多同行交流时，大家都承认将基准测试绘制在一条以 Token、成本或时间为横轴的曲线上是合情合理的，但最终在实际发布时却没有人这么做。

莎拉： 他们并没有出于对“做正确的事”的紧迫感去付诸行动。我们必须确保我们衡量的是正确的指标。

诺姆： 他们的说辞通常是：“但外界都在期望我们公布那张传统的基准测试评分表。”

莎拉： 而外界之所以有这种期待，又仅仅是因为历史上大家都是这么做的。于是这就陷入了一个劣质均衡。

诺姆： 这导致行业被困在了一个劣质均衡中——人人都知道它不科学，但谁都不愿意率先打破它。我写这篇文章是希望公开呼吁：大家应该正视这个不合理的现状，并主动过渡到一个以算力/成本为横轴来绘制模型表现的新均衡中。我希望在下一次新模型发布时，大家能有底气不再把传统的基准测试评分表放在最显眼的位置，从而推动更高效、更具建设性的模型评估体系的建立。

---

六、路由层的算力公平性：初创公司的价值追问

莎拉： 最后一个问题。许多垂直领域的初创公司认为，他们最核心的价值在于构建路由层或选择层。他们的逻辑是：用户的目标其实是由许多细分任务组成的，有些需要极高水平的智能，有些则不需要；作为解决方案提供商，他们的职责就是在既定的预算约束下，通过合理的任务拆分、并行化管理以及针对不同模型分配不同的推理算力，来实现最优的效果。因为在前沿实验室看来，这种智能路由可以在 API 内部、应用底层，甚至模型本身中完成。而现在，这些功能显然正在被广泛外包到各种应用中。你对此如何看待？

诺姆： 我认为这同样可以归结为基准测试需要以 Token 或成本为横轴进行评估的论点。最近我看到一些评估表明，通过路由层引入多个模型的共识机制，可以显著提升整体系统的表现。

莎拉： 是的。

诺姆： 我坚信通过共识机制确实能获得超越单一模型的性能。但核心问题在于：这种通过路由和共识获得的分数提升，是否真的优于直接让单个更强大的模型延长思考时间？一旦我们控制了测试时间算力的总量，共识路由是否依然具有优势？这是我们需要厘清的核心关键。

莎拉： 这确实是一个非常深刻且根本的视角——路由层固然有其价值，但它依然需要被放在相同的预算标尺下进行衡量。

诺姆： 是的。只有将其置于统一的标尺下，你才能做出最优的决策。我其实并不确信路由机制在算力对齐后能表现得更好，这还需要打一个问号：它能带来显著的增量吗？它的鲁棒性如何？它在实际应用中的表现是否像基准测试中那样好？因为一个潜在的风险是，你可能会利用路由层针对特定基准进行定向优化，从而跑出漂亮的测试分数，但在面对真实世界的复杂多变业务时，实际体验并没有显著改善。因此，我认为至少需要控制测试时间算力这一变量，同时对这类优化后的基准成绩保持必要的警惕。

莎拉： 非常感谢诺姆。感谢你致力于打破行业当前这种虚假均衡的努力。

诺姆： 非常高兴能回到节目里。

莎拉： 大家可以在 Twitter 上关注我们（@nopriorpod）。如果想看我们的录制视频，欢迎订阅我们的 YouTube 频道。也可以在 Apple Podcasts、Spotify 或任何你常用的音频平台关注收听，这样每周都能收到我们的最新节目推送。此外，欢迎访问 no-priors.com 订阅我们的邮件，或者获取每期节目的完整逐字稿。