小团队如何高效训练 100B+ 级大模型

Full translation

完整中文译文

近几个月来，围绕模型所有权、主权/本地 AI 的开放与封闭之争，以及美国与中国之间的竞争，讨论已经升温到了白热化的程度。因此，Poolside AI 终于带着 Laguna S 2.1 等新模型浮出水面，实在是个非常非常好的消息。这些模型击败了 Thinking Machines 最近发布、规模接近其 10 倍的模型。

Poolside 最近发布的技术报告因内容详尽而广受好评，Vibhu 首先在我们的论文俱乐部中介绍了 Laguna 最近的技术报告：

从在全世界尚未关注代码语言模型时投入 1200 万美元构建这类模型，到打造出一座能在八周内完成模型预训练直至发布全过程的「模型工厂」，Eiso Kant 十多年来始终坚信：代码是通往 AGI 的道路。在本期节目中，这位 Poolside 联合创始人与 swyx 和 Vibhu 一起探讨了：为什么 ChatGPT 的出现让他感到自己的判断得到了验证；为什么 Poolside 选择拥抱开放权重与开放研究；以及为什么即使 Poolside 能成为五家巨头之一，他仍然更愿意生活在一个拥有 100 家基础模型公司的世界，而不是由五家公司垄断的世界。

我们深入探讨了 Poolside 的模型工厂：支撑每月 10,000～20,000 次实验的工程系统、将数据直接以流式方式送入训练、可复现的实验、低精度计算，以及那些越来越多地负责编写代码、启动任务、评估结果，并修改用于训练未来模型的流水线的 AI 智能体。Eiso 还详细解读了他们最近发布的 Laguna S；解释了为什么持久性、验证和回溯可能比原始智能更重要；小型模型内部还蕴藏着多少能力；为什么强化学习将前移至预训练的更早阶段；以及为什么下一个 token 预测仍未能从网络中提取足够多的知识。

我们还讨论了模型与运行框架的协同设计、Poolside 从编程 AI 智能体走向 AGI 的路径、为什么 Eiso 认为 MCP 和传统工具调用方式“很蠢”、前沿模型训练背后的真实经济账、Poolside 的 5 亿美元融资、开源 AI、监管、NVIDIA 与 TSMC 的影响、AI 智能体时代的工程生产力、高主动性团队，以及 Poolside 的招聘。

Andrej Karpathy 的 RNN 研究如何启发 Eiso 在 2015 年开始构建代码语言模型

为什么 Eiso 在市场开始关注之前，花费四年时间和 1200 万美元追求这一理念

为什么 ChatGPT 让 Eiso 感到自己的判断得到了验证，并促使 Poolside 重返开源

为什么 Eiso 更希望看到 100 家基础模型公司，而不是由五家公司形成寡头垄断

发布开放权重与发表真正开放的研究之间有何区别

为什么 Poolside 有意在湾区人才争夺战之外建立全球研究组织

为什么模型构建归根结底有 90% 都是工程问题

模型工厂：Poolside 用于快速训练和改进模型的端到端系统

不到 70 名研究人员如何做到每月运行约 10,000～20,000 次实验

Poolside 如何将六个月的模型周期缩短到五周和八周即可发布

为什么将数据直接以流式方式送入训练能够加快实验速度

不可变数据、版本化代码和可复现性如何推动严谨的模型研究

为什么 Eiso 希望有能力的研究人员离开各自的实验室，成为 Poolside 的竞争对手

为什么模型构建中 95% 的问题都可以归结为改善数据或提高计算效率

Laguna S，以及为什么持久性、验证和回溯能够胜过原始智能

为什么小型模型能够处理的知识工作可能远超此前预期

为什么强化学习将前移至预训练的更早阶段

为什么下一个 token 预测仍未能从网络中提取足够多的知识

为什么蒸馏和环境已经成为 AI 行业最钟爱的“药物”

为什么中期训练实际上是课程设计的一种早期形式

低精度训练、网络瓶颈，以及计算效率的下一轮提升

Laguna S：总参数量 1180 亿，激活参数量 80 亿，从训练到发布耗时八周

为什么模型构建者往往能在新检查点生成后的最初 30 分钟内完成评估

模型与运行框架：AI 智能体的能力究竟来自哪里

为什么 Poolside 将编程和长周期软件任务视为通往 AGI 的道路

为什么 Eiso 认为 MCP 和传统工具调用方式“很蠢”

为什么未来的 AI 智能体将编写脚本，而不是从数十种预定义工具中进行选择

为什么应当采用精简的运行框架、容器，并赋予模型自由

为什么 Poolside 正在优先发展视觉能力，却预计近期不会涉足音频

为什么语言可能是编码知识和推理过程时计算效率最高的模态

模型开发的真实成本，以及为什么最终训练过程反而平淡无奇

Poolside 名称背后的故事，以及它为何代表拒绝降低抱负

当投资者仍在质疑 AGI 是否真实存在时，Poolside 如何融资 5 亿美元

为什么智能可能成为全世界需求最大、商品化程度最高的资源

开放模型何时可能因能力过强而无法在不加限制的情况下发布

为什么在全球竞争环境中，单方面的 AI 安全措施行不通

监管如何可能意外巩固由两三家 AI 公司构成的寡头垄断

NVIDIA、TSMC，以及支撑基础模型进步的硬件系统

为什么强化学习的实际耗时是 Poolside 最大的瓶颈之一

为什么 Poolside 选择从零开始训练模型，而不是简单地蒸馏更大的模型

AI 如何改变企业衡量工程生产力的方式

为什么主动性可能成为 AI 时代员工最重要的素质

领导者如何通过共同目标和明确约束，让高主动性人才协调一致

领导者如何通过共同目标和明确约束，让高自主性的人才保持一致

Poolside 正在招聘研究、后训练、预训练、架构、评估和工程等方向的人才

00:00:00 开场介绍

00:00:54 Karpathy、RNN，以及在 Transformer 之前构建代码模型

00:02:26 1200 万美元的失败与 ChatGPT 带来的正名

00:03:39 开源，以及为什么应该有 100 家基础模型公司

00:09:22 开放权重、开放研究与 Poolside 的全球团队

00:16:04 模型工厂：为什么构建模型 90% 都是工程工作

00:20:19 AI 智能体、自动化实验与递归式自我改进的早期迹象

00:24:04 流式数据、可复现性与科学严谨性

00:30:35 创建更多基础模型公司

00:36:07 Laguna S：坚持不懈与原始智能的较量

00:43:01 重新发明预训练、强化学习与课程设计

00:52:33 低精度训练，以及如何从较小的模型中榨取更多能力

00:58:37 模型运行框架、编程 AI 智能体与通往 AGI 的道路

01:09:26 为什么 MCP 和传统工具调用都“很蠢”

01:13:04 视觉、多模态，以及为什么语言依然重要

01:18:15 扩展模型与训练的真实经济账

01:20:40 Poolside 为什么叫 Poolside，以及筹集 5 亿美元

01:27:37 开放模型、AI 安全与寡头垄断的风险

01:33:53 NVIDIA、TSMC 与强化学习的瓶颈

01:41:52 更小的模型、蒸馏、工程生产力与招聘

开场介绍：Eiso Kant、Poolside 与开放模型

Swyx [00:00:00]：好了，我们现在和来自 Poolside 的 Eiso Kant，以及 Vibhu 一起坐在演播室里。欢迎。

Eiso Kant [00:00:08]：谢谢。谢谢你们邀请我。很高兴来到这里。

Swyx [00:00:10]：是啊，刚下飞机。你给我发消息说：“嘿，我正在去旧金山的路上。”我当时就想：“你现在正在飞机上，对吧？”就，很突然。

Eiso Kant [00:00:16]：我知道。给你发完消息之后，我才意识到，顶着严重的时差来参加节目，今天大概会带来一些有趣的体验。不过，开始吧。

Swyx [00:00:23]：我的意思是，我通常会告诉嘉宾，他们其实不必准备太多。因为如果你真的每天都在做这件事，那么即便只是你在迷迷糊糊中记得的东西，对于很多并非每天都生活在你这个世界里的听众来说，也会是全新的，对吧？十年前，你在 Google Slush 上做过一次演讲，谈论 AI 的民主化。而现在，你在这里开源了一个令人难以置信的新模型，我们稍后会聊到它。不过我想先问，你最初是怎么走上 AI 民主化这条路的？至少从你的 LinkedIn 之类的资料里，完全看不出来。

从 Karpathy 的 RNN 文章到 Sourced

Eiso Kant [00:00:57]：是的，完全看不出来。我觉得我进入这个领域的过程一点也不显而易见。我之所以进入这个领域，要归功于 Andrej Karpathy。

Eiso Kant [00:01:05]：2015 年，他写了一篇名为《循环神经网络不可思议的有效性》的文章。

Swyx [00:01:10]：神经网络，没错。

Eiso Kant [00:01:11]：我读了那篇文章，然后在一夜之间改变了当时创业公司的方向，转而研究 RNN，后来又研究 LSTM 和 Transformer 模型，希望让它们能够编写代码。如果你打开那篇文章并向下滚动，就会开始看到，这其实是后来语言模型的前身。至少在当时，他使用的是字符级语言模型，模型开始预测字母。这里有一个例子，还有一个小型的 Paul Graham 生成器。你可以读它生成的内容，文字似乎说得通，但实际上又说不通。然后还有一个小小的——再往下还有一个代码示例。对，还有 Shakespeare。

Swyx [00:01:47]：Shakespeare。

Swyx [00:01:49]：不错。

Eiso Kant [00:01:49]：不知道为什么，读完这篇文章之后，我就一头扎进了这个兔子洞，开始尽我所能地学习关于 RNN 和 LSTM 的一切，对吧？这就是 Transformer 论文。那时，我形成了一个完全不合常理的信念：神经网络应该能够泛化到任何事物；语言应该能够泛化到许多涉及智能的任务，也应该能够泛化到编写代码这件事上。于是，我创办了 Sourced。这是一家完全开源的公司，试图构建我们当时称为“针对代码的机器学习”的东西，也就是代码语言模型。我们在这件事上投入了大约四五年，一直做到 2019 年年底。这在今天听起来很酷，但在当时，根本没有人在意。

Eiso Kant [00:02:29]：对吧？真的没有人在意。我们完全是在黑暗中摸索。当然，这一路上我们也做了不少事情。我们尝试把卷积神经网络应用到代码结构之类的问题上。我们当时——注意力机制出现时，我们把它应用到了 LSTM 上；后来 Transformer 论文又发布了。但答案并不显而易见。整个过程中，我们没有意识到的是：虽然方向走对了，但我们本应该一直把规模扩展下去。今天，对我们所有人来说，扩展定律和扩大规模似乎都是再明显不过的事情。但即便我已经花了四五年时间研究代码语言模型，当时这一点依然不明显。因此，我非常敬佩 Google、OpenAI 等公司的那些人，他们坚定地相信这条路，并且一直走了下去。我们最终在当时失败了，而且那是我职业生涯中最大的失败，对吧？我们烧掉了投资人 1200 万美元，而这在当时是一大笔钱。

Swyx [00:03:18]：没错。

Eiso Kant [00:03:19]：你花掉了——现在依然是一大笔钱，不过——你和一群大约 40 人的团队一起，花了数年时间痴迷于解决这个问题。后来，人生转向了不同的方向。家庭成了我的重心，我埋头过自己的生活，在接下来的两年里几乎没有再关注语言模型。考虑到之后几年发生的事情，这显然是个大错误。后来 ChatGPT 发布了，那感觉就像我们终于得到了正名。人们开始给我发消息。我找出了自己以前的工作演示文稿和那些旧演讲。而在整个历程中，我们——

ChatGPT、正名与重返开源

Eiso Kant [00:03:56]：我们当时始终有一个非常坚定的观点：当你构建越来越强大的智能时，它应该是开放的，也应该是开源的。

Eiso Kant [00:04:04]：但我们创办 Poolside 时，完全不是这样，我想非常坦诚地说明这一点。创办 Poolside 时，我们的出发点建立在两件事上。第一，这项技术的能力会持续复合式增长，不会停下来。今天，大多数人都觉得这一点显而易见；但三年多以前我们刚起步时，大多数人还在争论这些模型究竟是不是随机鹦鹉。

Eiso Kant [00:04:23]：第二，强化学习将成为推动 LLM 能力提升的最大动力。今天，这一点非常明显；但三年前，无论是 OpenAI、Google、Anthropic 还是其他公司，都没有普遍持有这种观点，也没有把它作为发展方向。所以人们对我们多少有些不屑。他们会说：“这真的能行吗？”于是，我们只是开始解决这个问题，再也没有认真考虑过开源。我们埋头工作，从零开始建立自己的知识和理解，对吧？我们并不是从某个现有实验室里出来的。所以，我们拿起论文，开始编写代码，一点一点摸索。

Eiso Kant [00:04:59]：直到今年年初，我和联合创始人 Jason 才重新开始讨论开源这件事。

Eiso Kant [00:05:07]：如果你回头看看我们网站早期的一些内容，会发现表述非常直接：我们希望实现 AGI，希望推动一个富足的世界，而且希望成为第一家实现这一目标的公司。

Eiso Kant [00:05:20]：但今年年初，我们开始讨论这个问题，因为很明显，世界正在朝着一个逐渐让我们感到不安的方向发展。这并不是一夜之间发生的。我们一点点看到这些迹象，然后意识到：“好吧，世界正在走上一条特定的道路。”在整个过程中，我一直会使用一个类比，或者说一种设想。我会说，假如回到 2015 或 2016 年，当时我们正在研究这件事；我从书架上拿下一本科幻小说，故事写的是 2035 年，AGI 已经实现，接下来讲述此后几十年间发生的事情。小说的第一章会写所有人如何努力摸索；接着会写到 ChatGPT 的发布；然后故事会来到一个世界站在岔路口的章节，而世界选择的那条道路，是由三四家公司，或者说少数几家公司，创造未来全部智能的道路。

Eiso Kant [00:06:21]：当我想到那个故事时，它感觉像一本反乌托邦科幻小说，而不是乌托邦科幻小说。但事实上，我是个乌托邦科幻主义者。所以我们退后一步，问自己：“嘿，我们能在这里发挥作用吗？” 当时我们很容易做出这样的选择，因为我们还没有处于前沿。

Eiso Kant [00:06:41]：如果当时我们已经处于前沿，我认为我们不可能改变想法。我这么说并不是因为别的，而是当投入的资本太多、外界期望太高，而且你已经建立起很多东西时，就很难回头了，对吧？我们当时还是一支小团队，只是在不断改进、不断进步。因此，我们知道自己可以在那个时候做出这一决定，但随着我们越来越接近前沿、逐渐追上其他人，再想做出这个决定就会困难得多。我们进行了大量的自我反思和讨论，最后说：“不，这样做是合理的。” 即使仍然存在一些尚无答案的重大问题，比如：围绕开源基础模型，究竟该如何构建商业模式？这是一个我们目前仍未完全找到答案的开放性大问题，对吧？当模型被滥用可能带来切实风险时，到了什么阶段你会不再愿意发布开源模型？政府又会如何应对开源？但我认为，所有这些最终都归结为一件事——我也就此结束这段独白——那就是：我宁愿生活在一个拥有 100 家基础模型公司的世界里，也不愿生活在一个只有 5 家的世界里，即使我是那 5 家之一。为了让 100 家基础模型公司能够存在，我们所能做出的最微小却也最有意义的贡献，就是开放我们的研究，开放我们现在的模型权重，并在前进的过程中继续探索怎样才能做得更多。

新型实验室、模型选择与 Token 经济

Swyx [00:08:01]：是的。要说有什么变化的话，我认为过去三年里，这一点变得更加真实了。你们属于人们现在所谓的那一批新型实验室。

Eiso Kant [00:08:10]：是的。

Swyx [00:08:10]：而且我们录制这期节目当天，Thinky 刚刚发布了他们的新模型，而在他们公布的某些基准测试中，你们的表现优于他们，对吧？只是他们目前还没有拿出相应的成果。所以我认为，这恰恰说明，这个领域有容纳多家参与者的空间，而你们正在让我们稍微窥见未来的样子。也许最终更接近 20 家，而不是 100 家，但你们会是这 20 家之一。

Eiso Kant [00:08:36]：我真的希望如此，对吧？我对他们的发布感到兴奋，也对所有人的发布感到兴奋，因为归根结底，选择和竞争都会推动行业朝着正确的方向进步。不过事实是，虽然我们都在从同一口数据之井中汲取养分，但我们创造出来的模型，确实会表现出截然不同的行为和偏差。有些偏差是有意引入的，有些则完全出乎意料。

Swyx [00:09:03]：是的。

Eiso Kant [00:09:03]：如果我们最终形成了这样一种全球生态——开放模型将成为 Token 经济的一部分，而我认为现在已经没有人会再对此提出质疑——那么我们希望生活在这样一个世界里：公司、国家和个人都能做出选择，并且说：“嘿，在这些事情上，我与这家提供商最为契合，也最信任他们。”

Swyx [00:09:25]：是的。

Vibhu [00:09:26]：我认为，你们的意义并不仅仅是 20 家新型实验室之一。直到最近，大部分开源创新仍来自中国的实验室，对吧？那么，谁是西方的 DeepSeek？如今有答案了吗？好吧，也许是 Thinking Machines 的 Reflection，但这样的实验室并不多，对吧？你们最初是在法国、欧洲起步的，但现在你们在很大程度上采取了美国公司的立场。不仅如此，关键还在于，我们看到的中国模型并没有非常开放地披露研究。而你们发布的成果，我认为是其中最好的之一。因此，每隔几个月，我们看到的不只是前沿模型，还会看到解析博客、论文和技术报告，详细说明如何构建当前最先进的前沿智能，以及相关的一切细节。你们也在填补这方面的空白，对吧？所以你们不仅开放权重，不仅来自西方，也相当开放地披露研究。

开放权重与开放研究

Eiso Kant [00:10:20]：不，我很感谢你的评价。听着，我认为这是最有意义的贡献，对吧？权重是一种非此即彼的东西。我们就实事求是地说吧。是的，我们可以修改权重、改变权重，但把权重交给别人，最终并不能让他们重现你正在做的事情，对吧？现在，发布数据集确实存在挑战，发布某些内容也存在挑战，但分享你的研究则不同，比如：我们是怎么做的？我们通过耗费计算资源进行数万次实验，获得了哪些经验教训？我确实非常认同这一点。不过 Vibhu，我得纠正一件事，之所以要说，是因为这件事已经困扰我们很多年了：我们从第一天起就是一家美国公司。

Swyx [00:10:55]：是的。他们搬到了——

Poolside 的全球团队与美国公司历程

Swyx [00:10:56]：法国。

Eiso Kant [00:10:56]：所以，我想在这里彻底把这个故事讲清楚。我们创立之初就是一家美国公司，也一直都是一家美国公司。早期，我们非常有意识地做出了一个决定。我们说：“我们不会在湾区招聘任何研究人员，而是要去世界其他地方寻找人才。” 这些地方包括美国中部、西雅图、塞尔维亚，也包括台湾、新加坡和其他地区。我们之所以这样做，是因为我们认为，这个领域将演变成一场人才争夺战，而我认为过去几年里，事实也确实如此。三年前，这一点还没有完全显现出来；但到了今天，我认为已经非常明显了。我们还意识到，世界上一些能力最强、想法最有趣和最具创新性的人，并不会只集中在这里。因此，我们建立了一家完全远程办公的公司。后来，我们在巴黎、伦敦等地开设了办公室。团队中有很多人在美国，也有很多人在美国之外。但我们的观点始终是：我们是一家美国公司，不过，如果希望最优秀的人才与我们共事，就必须采取全球化视角。现在，随着公司的发展，我们在硅谷也有员工，还有其他地方的员工。但我认为，有一件事在最初拖慢了我们的速度，

小团队如何高效训练 100B+ 级大模型 | 前端进阶之旅