模拟成为新的扩展定律：数字孪生规模化

Simulation: 新的扩展定律 — Joon Sung Park，Simile AI

当我们2024年首次讨论模拟式AI的夏天时，我们知道那会是一个短暂的夏天，但最近它卷土重来——4月的SimGym，以及现在Simile AI获得2亿美元B轮融资，由GreenOaks和Index Ventures领投，Fei-Fei Li和Andrej Karpathy等知名人士支持，为CVS等财富100强客户运行数千万次模拟，在人类焦点小组中达到85%至99%的准确率。

是时候了解一下为什么这第二个模拟夏天正在发挥作用了！

从创建Smallville开始——这是2023年生成式智能体领域的里程碑论文，展示了AI角色可以记忆、规划、社交并发展出涌现行为——到如今构建人类行为的基础模型，Joon Sung Park正试图回答一个更大的问题：如果我们可以在真实世界做决策之前先模拟世界会怎样？在本期节目中，Simile联合创始人兼CEO加入我们，深入探讨从生成式智能体到数字孪生的路径，为什么当前的前沿模型仍然无法捕捉人类实际行为方式，以及要模拟地球上所有80亿人需要什么条件。

我们深入探讨Simile建模人类行为的方法：长篇访谈、观察数据和交易数据、随机对照试验、人口级和个体级模型，以及在因果机制上对人们做决策背后原因的后训练。Joon解释了他的研究如何创造出能够以85%的准确度复现人类行为和态度的数字孪生——相当于人们复现自己回答的准确度；为什么优化为理性思维的模型可能是对非理性人类的糟糕模拟；以及为什么理解"社会物理学"可能需要改变模型权重，而不是简单地提示前沿LLM。

我们还探讨了模拟背后更大的雄心：在部署前测试产品和政策；找到通向期望结果的反直觉路径；在整个社会层面建模涌现行为；以及可能解决气候变化、民主不稳定和UBI等问题。Joon反思了模拟的扩展定律、数据中心级模拟世界的经济学、与Thomas Schelling和心理历史学的联系、为什么模拟与绘画惊人地相似，以及我们是否可能已经生活在其中。

How Smallville and Generative Agents led to Simile

Smallville和生成式智能体如何导向Simile

Why Joon's team asked: "What if we can just recreate the world that we live in?"

为什么Joon的团队问："如果我们能重建我们生活的世界会怎样？"

Why useful personal agents require deep models of their users

为什么有用的个人智能体需要深入了解其用户的模型

Memory architectures, Markdown files, and the limits of prompting

记忆架构、Markdown文件和提示的局限性

"Social physics" and behavioral foundation models

"社会物理学"和行为基础模型

Why web data captures what people say more than what they actually do

为什么网络数据捕获的是人们所说的而非他们实际所做的

Interviews, transactions, observational data, and randomized controlled trials

访谈、交易、观察数据和随机对照试验

Why predicting the future matters less than understanding how to shape it

为什么预测未来不如理解如何塑造未来重要

How Simile creates representative simulated populations

Simile如何创建具有代表性的模拟人口

Simulation versus prediction and the connection to Foundation's psychohistory

模拟与预测以及与《基地》心理历史学的联系

How to evaluate simulations instead of simply stacking LLM hallucinations

如何评估模拟而不是简单堆叠LLM幻觉

Creating digital twins of 1,000 real people and reaching 85% behavioral accuracy

创建1000个真实人的数字孪生并达到85%的行为准确率

Why frontier models can struggle to reproduce real human behavior

为什么前沿模型可能难以复现真实人类行为

Why good simulations need to reproduce human biases and mistakes

为什么好的模拟需要复现人类的偏见和错误

Post-training models on randomized controlled trials

在随机对照试验上后训练模型

Population-level versus individual-level simulation

人口级与个体级模拟

Scaling laws for human simulation

人类模拟的扩展定律

The long-term ambition to simulate all 8 billion people on Earth

模拟地球上所有80亿人的长期雄心

Whether simulations could help solve climate change or detect collapsing democracy

模拟是否能帮助解决气候变化或检测民主崩溃

Thomas Schelling and the history of agent-based modeling

Thomas Schelling和基于智能体的建模历史

Why future simulations could require an entire data center

为什么未来模拟可能需要整个数据中心

Multi-agent simulations and what happens when simulated people interact

多智能体模拟以及当模拟的人互动时会发生什么

Replacing expensive human panels with synthetic populations

用合成人口替代昂贵的人类小组

Why market research is only the starting point for simulation

为什么市场研究只是模拟的起点

Why Joon sees simulation as surprisingly similar to painting

为什么Joon认为模拟与绘画惊人地相似

Using simulation to study questions like UBI

用模拟研究UBI等问题

Whether we are already living in a simulation

我们是否已经生活在模拟中

Why AGI and simulation may be the twin technologies of advanced civilizations

为什么AGI和模拟可能是先进文明的孪生技术

LinkedIn: https://www.linkedin.com/in/joonspark

X: https://x.com/joon_s_pk

Website: https://www.joonsungpark.com

Simile: https://www.simile.com

00:00:00 Introduction and Joon's Path from Art to AI

00:00:00 开场介绍和Joon从艺术到AI的历程

00:01:46 Smallville, Generative Agents, and the Origins of Simulation

00:01:46 Smallville、生成式智能体与模拟的起源

00:05:03 "Let's Just Create a World" and the Future of Personal Agents

00:05:03 "让我们创建一个世界"与个人智能体的未来

00:09:53 Social Physics and Behavioral Foundation Models

00:09:53 社会物理学和行为基础模型

00:14:08 Prediction vs. Simulation: How Do You Shape the Future?

00:14:08 预测 vs. 模拟：如何塑造未来？

00:16:59 How Simile Models Real People and Populations

00:16:59 Simile如何建模真实的人和人口

00:25:35 Evaluating Simulations, Digital Twins, and 85% Accuracy

00:25:35 评估模拟、数字孪生和85%准确率

00:30:23 Post-Training Models to Reproduce Human Behavior

00:30:23 后训练模型以复现人类行为

00:40:04 Scaling Laws and Simulating 8 Billion People

00:40:04 扩展定律和模拟80亿人

00:43:10 From Schelling to Society-Scale Agent Simulations

00:43:10 从Schelling到社会级智能体模拟

00:46:13 The Cost and Economics of Simulating the World

00:46:13 模拟世界的成本和经济学

00:52:05 Real-World Use Cases, Synthetic Populations, and the Market

00:52:05 现实用例、合成人口和市场

00:57:27 The Future of Simulation, Painting, and UBI

00:57:27 模拟、绘画和UBI的未来

01:04:23 Are We Already Living in a Simulation?

01:04:23 我们已经生活在模拟中了吗？

01:06:08 Building Simile and Hiring

01:06:08 建设Simile和招聘

Introduction: Joon Sung Park, Simile, and the Story So Far

开场介绍：Joon Sung Park、Simile以及迄今为止的故事

Vibhu [00:00:00]：今天我们邀请到Joon参加播客。非常激动可以开始这个话题。这是一家非常令人兴奋的公司。我想开场问你一个问题，聊聊你的故事。你是如何走到这里的？

Joon [00:00:13]：好的，当然。我非常兴奋能来到这里。聊聊我的故事吧。我在韩国出生，在那里生活了大约11年，然后我家搬到了波士顿。我们是在我11岁时搬过去的，我父母都是医生，所以他们要去做博士后研究。我爸爸是一名外科医生，当时在波士顿儿童医院做休假研究。所以我在那里长大，不太接近科技圈。我当时是很喜欢音乐和艺术的人，喜欢绘画。

Vibhu [00:00:49]：绘画。

Joon [00:00:49]：没错。我是在高中时才较多接触绘画的，但那是我曾经做的事情。在韩国之后我大部分在东海岸长大。所以我在新罕布什尔州生活了很多年，然后去宾夕法尼亚州上大学。在大学里我开始更多地接触科技圈。我最初是接受艺术训练的。我以为那会成为我的职业。所以这不是业余爱好。而是"嘿，我要靠这个谋生"。然后渐渐的，我对"最伟大的艺术家往往创造自己的媒介，而我们今天拥有的最好的媒介就是计算"这个想法产生了浓厚兴趣。所以我决定深入研究这个，一个接一个，我们可以深入探讨，但我决定研究是我渐渐感兴趣的，于是我就到了这里。

Smallville, Generative Agents, and the 2023 Breakout Paper

Smallville、生成式智能体与2023年突破性论文

Swyx [00:01:46]：你把研究内容压缩得非常密集。你有 2023 年最好的论文之一，也就是生成式智能体论文，通常被称为 Smallville 论文。

Swyx [00:01:58]：可以回溯你提到的任何内容，但大多数人是从这篇论文认识你的。你有统计数据吗？arXiv 会给你一些，对吧？一些数据。

Joon [00:02:10]：是的，这是一个好问题。有多少人读过它，我不太确定。

Joon [00:02:14]：我知道我们确实在追踪引用数，而且增长得很快。

Swyx [00:02:23]：是的，Google Scholar 上有 7200 次引用。

Vibhu [00:02:25]：我觉得它的影响力比这更大，这是一篇非常有影响力的论文。被引用了这么多次。

Swyx [00:02:34]：当人们问「你最近读过的最好的论文是哪篇」时，这篇通常是答案。

Vibhu [00:02:39]：我觉得记忆组件被严重低估了。这是一个非常好的早期记忆系统，也是最大的论文之一。

Foundation Models and the Search for Killer Applications

Joon [00:02:47]：是的，也许我可以谈谈这篇特定的论文是如何形成的。我进入研究领域是在 2020 年，当时我开始在斯坦福大学读博士，那一年我们即将获得 GPT-3 的使用权限。当时我们已经有了 GPT-2，你可以感觉到市场上出现了一类新的模型，整个团队都非常感兴趣。普遍的共识是：「这个模型会有什么用吗？」「这些模型并没有被训练来执行任何特定任务，这真的很奇怪。」但我们决定赌一把。斯坦福大学的一大群学者走到了一起，由我的联合创始人之一 Percy Liang 领导，我们聚在一起——

Swyx [00:03:35]：是谁创造了 foundation models 这个词。

Joon [00:03:36]：是谁创造了 foundation models 这个术语。我们写了那篇论文，术语 foundation models 就来自那篇叫做《Foundation Models 的机遇与风险》的论文。在那个过程中，我真正开始深入思考的是：这是一个在我们的生态系统中全新的模型。它之所以是新的，是因为——再次强调——它没有被训练来执行任何特定任务，但它的前提是它可以做任何事、做一切事。如果用生物学来类比，它就像一个干细胞。我对这个问题非常感兴趣：如果我们真的去思考这项技术会使能的最佳应用是什么，那会是什么？我的许多同事用它来做简单的分类、简单的生成。这些模型能做到这些很有趣，但从交互角度来看，并不是那么有趣。我们几十年前就知道怎么做到这些了。我们最终得出结论：这些模型是在网络上非常广泛的数据上训练的，对吧？这些是人类行为数据。是社交媒体、维基百科，所有这些数据。所以如果你从正确的角度去戳它，你就能看到人类行为会从中涌现出来，而且非常逼真，这是我们从未见过的。

The Time Machine Game and Recreating the World

Joon [00:04:45]：这让我们非常感兴趣。我们决定和这群同事一起做这个实验，Michael Bernstein、Percy Liang 和我自己，他们最终成为了我在 Simile 的联合创始人，我们坐下来玩了一个人称之为时间机器游戏的游戏。

Joon [00:05:03]：想象一下我们坐上时间机器，快进 10 年然后回望过去。什么会是最有趣和最鼓舞人心的单一应用？当我们想：「如果我们可以重建我们所生活的世界会怎样？」真的没有比这更有雄心的了。就让我们创建一个世界吧。

Joon [00:05:24]：这就是我们的起点。最初，我们有一篇论文，它是生成式智能体论文的前身，叫做 Social Simulacra。

Swyx [00:05:32]：在继续之前，时间机器练习中还有其他候选的最雄心勃勃的事情吗？第二、第三是什么？

Personal Agents, User Models, and Why Simulation Came First

Joon [00:05:44]：我们考虑过一个非常接近的第二名，它最终变成了更多这些自动化工具，尤其是关于真正个性化的智能体为你做事的愿景。

Swyx [00:05:59]：这也在发生。

Joon [00:06:00]：这也在发生。但对我们来说有趣的是，我们决定走模拟这条路的原因之一，我是一个超级科幻迷，这个创建模拟的想法我个人真的非常着迷。我喜欢这个主意。看看这样一个游戏小镇，看到这些智能体生活其中，真的很酷。但与此同时，我的赌注是，如果你要用这项技术创建一个真正了不起的个人助手，你首先需要一个了不起的用户模型。所以我告诉一个模型：「嘿，你能帮我买夜宵吗？」它点了夏威夷披萨，而我不喜欢披萨上的菠萝。那就完全失败了。它不犯这个错误的唯一方法是对我是谁有深入的了解。我在这里给了一个非常简单和愚蠢的例子，但你可以想象这种对人的核心理解是多么重要。这就是我们和家人以及最亲密的朋友相处的方式，他们对我们有一个很好的心智模型。这是我们社会联系的基础。所以我们的另一个赌注是，围绕模拟的这门技术，创建人们的准确表征，应该先于那些将自动化我们生活世界的更复杂的智能体。这就是赌注。但这是一个非常接近的第二名，我仍然对它非常着迷。我认为有很多有趣的工作正在进行。不过我的一个大胆预测是，我不认为我们已经看到一个真正有用的个人助手，达到了那项工作所怀抱的雄心。我认为有一些早期的应用很有趣，如果你现在和 ChatGPT 或 Claude 聊聊，它们对我们了解很多。所以很多它正在做的生成，我确实认为它更加量身定制了，但我觉得那个领域的雄心是相当大的，我不认为我们目前已经拥有了所有正确的要素。

Swyx [00:08:01]：那么 OpenClaw 和这些个人智能体，你希望从它们身上看到什么目前还没有的东西？

Memory, Markdown, and the Limits of Prompting

Joon [00:08:09]：我确实认为它正在慢慢达到，但我总体上希望它们对用户有更深入的理解。现在，你看看这些模型。OpenClaw 用的是一个 Markdown 文件，我认为这非常聪明，对吧？所以如果你看生成式智能体论文，这也是我们拥有的相同直觉，当时我们正在为生成式智能体创建记忆架构，而且，这是——就像——回到 2022 年，所以我们实际上还没有智能体架构甚至智能体这个术语的想法。但我们与今天一些工作共享的直觉是，我们最初想：「好吧，我们想把记忆做成什么，知识图谱？我们要训练一个定制的模型吗？」所有这些。最后我们决定：「不。把这些都忘掉吧。这些语言模型在建模文本和理解文本以及推理文本方面相当出色。所以就把所有东西都放进一个 Markdown 文件或文本文件中。就这样。」我认为这很有趣，我们可以做到这一点，这样做有很多优势。但也有局限性。这是当你检索和理解非常大量的数据时，需要很多工作。所以我认为那门技术正在变得更好。但我也确实认为，有些东西你就是无法仅仅通过提示模型来塑造。所以在某种程度上，你确实需要触及模型本身的参数。所以这项工作确实需要发生，而且正在发生。问题是我们能走多远？我们如何获取数据，你又如何创建一个生态系统，让人们持续向这个模型提供数据，这样它就在了解你？

Vibhu [00:09:50]：为什么你需要把它做进模型里，直觉是什么？

Social Physics and Behavior Foundation Models

Joon [00:09:53]：我对于何时应该训练模型甚至后训练模型、何时应该直接提示模型，背后有一个直觉：如果模型必须学习它所运行环境的基础物理规则，就需要训练。它需要学习新的社会物理规则。而不需要训练的地方是模型已经具备物理规则的地方。我们相信这个物理规则。它已经具备了基础统计数据，只是在尝试对环境做出反应。那么我认为你可以直接通过提示来获取它输出的动作。我不认为目前公开的模型已经学会了人类社交物理规则的完整映射。这是 Simile 的核心论点之一，而这也是这种情况发生的核心原因之一——如果你看看模型训练时所使用的数据，这些模型是在网络数据上训练的，比如互联网上可用的任何内容。这些确实是非常有趣的数据集，但它们本质上是自我暴露的态度数据，其中零星散布着一些行为数据。它们还没有学到人们真正深层的行为本质，不仅仅是人们在网上声称他们做什么，而是他们在现实生活中的实际行为。这也是我认为的人类隐性知识之一，我们还没有完全捕捉到它。这些数据也需要被纳入模型创建中。

Vibhu [00:11:21]：你把它叫做行为基础模型。

Vibhu [00:11:23]：这个说法很精炼，但除此之外，你需要什么类型的数据？你在模型层面改变了什么？你如何着手建模、构建行为基础模型？

三个数据桶：访谈、行为和因果

Joon [00:11:35]：我们把数据分为三个桶。第一个桶是访谈数据。这非常有趣。丰富的定性数据很有趣。它不是行为数据，但我们会 literally 询问人们："嘿，跟我讲讲你人生的故事。"

Vibhu [00:11:53]：这正是我们现在在做的事。

Joon [00:11:54]：你们在这次访谈开头问的问题，正是我们也会问的问题。我们会让参与者讲得更深入一些，比我刚才展开的程度更深一些。也许我可以更多地分享我的人生故事来代替这个。但这种数据有趣的地方在于，通过学习这些关于人们的非常长尾的信息，你可以在这个模型——这个作为模型的人——周围获得很多质感。所以即使只是理解他们的童年记忆、他们的创伤、他们的初恋，这些事情，在很多方面都非常有启发性，而这些方面真的很难预测。这是一种。然后我认为行为数据还有两个层次。一种行为数据是观察性的。这些可能是交易数据，或者这些可能是你可以通过抓取网络获得的数据，对吧？所以你可以想象为什么这些数据集很有趣，因为它们给你提供了人们行为的基础统计数据。

Joon [00:12:55]：但还有最后一个数据类别，这是我个人认为也许最重要的，那就是描述因果机制的数据，人们行为背后的"为什么"。其中一些在访谈数据、定性数据中有所涉及，因为人们会谈论他们为什么做出某些决定。但真正让你看到最深层行为方面的，是在随机对照试验中，比如 RCT。想象你有相同的设置，但你有一些不同的变量想要调整。你能从中获得真实的人类行为吗？想象你有这个特定的选项。想象你甚至在尝试选择是否要喝咖啡。你喝咖啡的那天和没喝咖啡的那天，你的行为会改变吗？这是一个描述因果机制的数据集。这在建模人类行为方面相当重要。这之所以重要，是因为当人们来找我们时，或者不仅仅是来找我们，当人们对模拟感兴趣的原因时，通常不是因为他们想要预测未来。如果你试图战胜股票市场，预测未来是有趣的。

预测 vs 模拟：塑造未来

Joon [00:14:08]：但大多数人，大多数决策者，他们想知道的是，我们如何能塑造未来？听到你的销售额将在两个季度后崩盘并没有太大帮助。他们只会说："哇，那太糟了。"他们想知道的是，嗯，我们现在需要做什么来避免那个未来？这就是因果机制。这也是很难获得的数据，对吧？因为世界是我们的真实基准，但它只发生一次。所以在一种非常受控的设置中，除了一个变量之外一切都是平等的，这种数据集很少出现。这就是为什么如果你试图建模人类行为，这个数据集既难获得又非常重要的原因。

Swyx [00:14:50]：所以行为，我认为是最难获取的数据集。现有的是什么？什么是有可能的？你不会知道我生活中很多细节。我甚至没有关于我自己健康或习惯的数据，我只是没有记录一切。那么你怎么可能有这些数据呢？

Joon [00:15:14]：所以我们进行了很多随机对照试验。

Swyx [00:15:17]：但你把人放进实验室，观察他们睡觉，还是怎样？

Joon [00:15:20]：我们非常重视知情同意过程。人们知道我们邀请他们成为这个社区的成员，既分享数据也在不同形式中被代表。但我们把很多人带进实验室，或者虚拟实验室，在那里我们设计实验，让他们面对真实的行为决策。通常在这些实验设置中，什么决定了它是态度数据还是行为数据，取决于你决策中的赌注是否真实。这最终就是使它成为行为数据的原因。所以在这些设置中，我们受到了社会科学、心理学等领域同事们的启发。所以当他们进行研究时，他们使用的技术是想象有一个在线商店邀请人们来。然后他们在实验中购买的任何东西，他们实际上会收到那个物品的配送。正是这些事情使赌注变得真实。我们进行了很多这些实验，我们也确实与公司合作。目前，我们的客户也非常兴奋，至少给我们展示他们的用户所表现出的行为的一瞥，这样我们就能更深入地了解人们在这些不同平台上的行为方式。