Genie 3：实时可交互的虚拟世界生成

Genie 3：世界模型的新边疆

Jack Parker-Holder 和 Shlomi Fruchter

今天我们宣布 Genie 3，一个通用世界模型，能够生成前所未有多样性的交互式环境。

给定一个文本 prompt，Genie 3 可以生成动态世界，你可以在 24 帧/秒的实时速度下导航，在 720p 分辨率下能保持一致性持续几分钟。

朝向世界模拟

在 Google DeepMind，我们在模拟环境研究方面开创性工作已有十多年，从训练 agent 掌握实时战略游戏，到为开放式学习和机器人开发模拟环境。这项工作推动了我们对世界模型的研究，世界模型是能够利用对世界的理解来模拟它的 AI 系统，使 agent 能够预测环境将如何演化，以及它们的行为将如何影响环境。

世界模型也是通向 AGI 的关键步骤，因为它们使在无限的丰富模拟环境课程中训练 AI agent 成为可能。去年我们推出了第一代基础世界模型 Genie 1 和 Genie 2，它们能够为 agent 生成新的环境。我们还继续在视频生成领域推进最新技术，推出 Veo 2 和 Veo 3 模型，它们展现了对直观物理学的深刻理解。

这些模型中的每一个都标志着世界模拟不同能力的进展。Genie 3 是我们首个支持实时交互的世界模型，同时相比 Genie 2 改进了一致性和真实感。

体现化 Agent 研究

Genie 3 的功能包括：

以下是 Genie 3 实时交互的录像。

建模世界的物理性质

体验水和光线等自然现象，以及复杂的环境交互。

模拟自然世界

生成充满活力的生态系统，从动物行为到复杂的植物生命。

建模动画和虚构

发挥想象力，创造奇幻场景和表现力强的动画角色。

探索地点和历史背景

超越地理和时间边界，探索地点和过去的年代。

推动实时能力的边界

在 Genie 3 中实现高度的可控性和实时交互性需要重大技术突破。在每一帧的自回归生成过程中，模型必须考虑随时间增长的先前生成的轨迹。例如，如果用户在一分钟后重新访问一个位置，模型必须参考一分钟前的相关信息。为了实现实时交互，当新的用户输入到达时，这种计算必须每秒发生多次。

长时间跨度的环境一致性

为了让 AI 生成的世界具有沉浸感，它们必须在长时间跨度内保持物理一致性。然而，自回归生成环境通常比生成整个视频是更难的技术问题，因为不准确性往往会随时间累积。尽管面临挑战，Genie 3 环境在几分钟内大体保持一致，视觉记忆延伸到一分钟前。

Genie 3 的一致性是一个突现能力。NeRF 和 Gaussian Splatting 等其他方法也允许一致的可导航 3D 环境，但依赖于显式 3D 表示的提供。相比之下，Genie 3 生成的世界更动态和丰富，因为它们是基于世界描述和用户操作逐帧创建的。

可提示的世界事件

除了导航输入外，Genie 3 还支持更有表现力的基于文本的交互形式，我们称之为可提示的世界事件。

可提示的世界事件使改变生成的世界成为可能，如改变天气条件或引入新对象和角色，增强导航控制的体验。

这个能力也增加了反事实或"如果……怎样"场景的广度，这些场景可被学习经验以应对意外情况的 agent 使用。

选择一个世界设置。然后，选择一个事件，看 Genie 3 创建它。

推动体现化 Agent 研究

为了测试 Genie 3 创建的世界对未来 agent 训练的兼容性，我们为最近版本的 SIMA agent（我们针对 3D 虚拟环境的通用 agent）生成了世界。在每个世界中，我们指示 agent 追求一组不同的目标，它通过向 Genie 3 发送导航动作来尝试实现这些目标。像任何其他环境一样，Genie 3 不知道 agent 的目标，相反它基于 agent 的动作模拟未来。

选择一个世界设置。然后，选择你想要 agent 实现的目标，看它如何完成。

由于 Genie 3 能够维持一致性，现在可以执行更长的动作序列，实现更复杂的目标。我们预期这项技术在推向 AGI 的过程中发挥关键作用，agent 在世界中扮演更大的角色。

局限性

虽然 Genie 3 推动了世界模型的边界，但承认其当前的局限性很重要：

有限的动作空间。 虽然可提示的世界事件允许广泛的环保干预，但它们不一定由 agent 本身执行。agent 可以直接执行的动作范围目前受到限制。

其他 agent 的交互和模拟。 在共享环境中准确建模多个独立 agent 之间的复杂交互仍然是一个正在进行的研究挑战。

真实世界地点的准确表示。 Genie 3 目前无法以完美的地理精度模拟真实世界的地点。

文本渲染。 清晰易读的文本通常只在输入世界描述中提供时才生成。

有限的交互持续时间。 该模型目前可以支持几分钟的连续交互，而不是长时间的小时级交互。

安全和负责任的开发

我们相信基础技术从一开始就需要深刻的责任承诺。Genie 3 的技术创新，特别是其开放式和实时能力，为安全和责任引入了新的挑战。为了解决这些独特风险，同时旨在最大化利益，我们与我们的负责任开发与创新团队密切合作。

在 Google DeepMind，我们致力于以放大人类创造力的方式开发我们一流的模型，同时限制意外影响。当我们继续探索 Genie 的潜在应用时，我们宣布 Genie 3 作为限制研究预览版，向学术界和创意工作者的小群体提供早期访问权限。这种方法使我们能够收集关键反馈和跨学科视角，当我们探索这个新边疆并继续建立我们对风险及其适当缓解措施的理解时。我们期待与社区进一步合作，以负责任的方式开发这项技术。

我们相信 Genie 3 是世界模型的重要时刻，它将开始对 AI 研究和生成媒体的许多领域产生影响。为此，我们正在探索如何在未来向更多测试者提供 Genie 3。

应用前景

Genie 3 可以为教育和培训创造新的机会，帮助学生学习和专家获得经验。它不仅能为机器人和自主系统等 agent 的训练提供广阔的空间，Genie 3 还可以使评估 agent 的性能和探索它们的弱点成为可能。

在每一步，我们都在探索我们工作的含义，并为人类的利益以安全和负责任的方式开发它。

引用

请使用以下 BibTeX 格式引用：

Genie 3 之所以得以实现，离不开 Phil Ball、Jakob Bauer、Frank Belletti、Bethanie Brownfield、Ariel Ephrat、Shlomi Fruchter、Agrim Gupta、Kristian Holsheimer、Aleks Holynski、Jiri Hron、Christos Kaplanis、Marjorie Limont、Matt McGill、Yanko Oliveira、Jack Parker-Holder、Frank Perbet、Guy Scully、Jeremy Shar、Stephen Spencer、Omer Tov、Ruben Villegas、Emma Wang 和 Jessica Yung 的关键研究和工程贡献。

我们感谢 Andrew Audibert、Cip Baetu、Jordi Berbel、David Bridson、Jake Bruce、Gavin Buttimore、Sarah Chakera、Bilva Chandra、Paul Collins、Alex Cullum、Bogdan Damoc、Vibha Dasagi、Maxime Gazeau、Charles Gbadamosi、Shan Han、Woohyun Han、Ed Hirst、Ashyana Kachra、Lucie Kerley、Kristian Kjems、Eva Knoepfel、Vika Koriakin、Jessica Lo、Cong Lu、Zeb Mehring、Alexandre Moufarek、Henna Nandwani、Valeria Oliveira、Fabio Pardo、Jane Park、Andrew Pierson、Ben Poole、Helen Ran、Nilesh Ray、Tim Salimans、Manuel Sanchez、Igor Saprykin、Amy Shen、Sailesh Sidhwani、Duncan Smith、Joe Stanton、Hamish Tomlinson、Dimple Vijaykumar、Luyu Wang、Piers Wingfield、Nat Wong、Keyang Xu、Christopher Yew、Nick Young 和 Vadim Zubov 在开发和完善该项目关键组件中的宝贵合作。

感谢 Tim Rocktäschel、Satinder Singh、Adrian Bolton、Inbar Mosseri、Aäron van den Oord、Douglas Eck、Dumitru Erhan、Raia Hadsell、Zoubin Gharamani、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中的富有洞察力的指导和支持。

功能视频由 Suz Chambers、Matthew Carey、Alex Chen、Andrew Rhee、JR Schmidt、Scotch Johnson、Heysu Oh、Kaloyan Kolev、Arden Schager、Sam Lawton、Hana Tanimura、Zach Velasco、Ben Wiley 和 Dev Valladares 制作。包括由 Signe Nørly、Eleni Shaw、Andeep Toor、Gregory Shaw 和 Irina Blok 生成的样本。

我们感谢 Frederic Besse、Tim Harley 以及其余 SIMA 团队提供的最近版本 agent 的访问权限。

最后，我们对 Mohammad Babaeizadeh、Gabe Barth-Maron、Parker Beak、Jenny Brennan、Tim Brooks、Max Cant、Harris Chan、Jeff Clune、Kaspar Daugaard、Dumitru Erhan、Ashley Feden、Simon Green、Nik Hemmings、Michael Huber、Jony Hudson、Dirichi Ike-Njoku、Hernan Moraldo、Bonnie Li、Simon Osindero、Georg Ostrovski、Ryan Poplin、Alex Rizkowsky、Giles Ruscoe、Ana Salazar、Guy Simmons、Jeff Stanway、Metin Toksoz-Exley、Xinchen Yan、Petko Yotov、Mingda Zhang 和 Martin Zlocha 的见解和支持表示感谢。

延伸阅读

如何使用 Genie 创建有效的 prompt

SIMA 2：在虚拟 3D 世界中与你一起玩耍、推理和学习的 Agent

Genie 2：大规模基础世界模型

3D 虚拟环境的通用 AI agent