8.0
热点
AI SCORE
技术实践2026-08-21 19:59
DeepMind十五年游戏AI实战复盘：从Atari到EVE Online
Google DeepMind#DeepMind#强化学习#游戏AI
Editor brief · 编辑速览
DeepMind公布与游戏厂商十五年的AI合作经验，涵盖强化学习如何落地游戏NPC、动态难度调整、程序化内容生成等场景的实战方法论。
Alexandre Moufarek and Adrian Bolton
从 Atari 到 Go 再到 StarCraft，游戏一直是 AI 领域一些最重大突破的幕后推力。如今，我们正与游戏开发者合作，共同原型验证新的游戏体验——这些体验将推动游戏与 AI 的边界同步向前。
自 2010 年 DeepMind 成立以来，那些受约束却又无比丰富的游戏世界，在理解智能这件事上扮演了关键角色。从征服 Atari 到助力解决蛋白质结构预测问题，这些游戏世界推动了我们的诸多重大 AI 突破——而游戏至今仍是我们工作的核心。
游戏已经刻在 GDM 的基因里。Google DeepMind 创始人之一 Demis Hassabis 本身就是一位前游戏开发者，GDM 团队中也有许多人是如此。我们共同拥有数十年的游戏开发实战经验，并对游戏制作这门手艺怀有深深的敬意。
我们始终清楚，与游戏合作进行 AI 研究，必须与游戏开发者建立深度合作关系——比如今年早些时候我们公布的与 Fenris Creations 及 EVE 宇宙的重大新研究合作，以及我们与 Hello Games、Coffee Stain Studios、Foulball Hangover 等知名工作室共同完成的工作。
我们的旅程始于一个小型团队训练深度神经网络直接基于原始像素来玩 Atari 2600 游戏。Deep Q-Network（DQN）学会了玩 49 种不同的游戏——从 Pong 到 Breakout 再到 Space Invaders——无需任何针对游戏本身的工程调整。2015 年发表在《Nature》上的 DQN 论文，帮助催生了现代深度强化学习时代。
在此之后，我们尝试征服更复杂的游戏，每一座里程碑都诞生了更强大、更通用的系统。2016 年，AlphaGo 击败了世界冠军围棋选手李世石——这一成就让许多专家原本认为至少还需要十年。AlphaGo Zero 则完全通过自我对弈学习，不依赖任何人类数据，在所有先前版本的基础上实现了超越。AlphaZero 将这一方法泛化，用同一个算法征服了国际象棋、将棋和围棋，而 MuZero 则在甚至不知道规则的情况下学会了玩游戏。2019 年，AlphaStar 在 StarCraft II 中达到了宗师级别，应对着即时战略的复杂性和不完美信息。
对于每一款游戏，AI 都丰富了玩家的体验。AlphaGo 那著名的第 37 手，着法如此出人意料，以至于专业解说最初认为那是一步失误——它颠覆了围棋数百年来被奉为圭臬的定式，并启发专家们去探索新的策略。AlphaZero 同样在国际象棋中激发出了全新的着法脉络。至关重要的是，在游戏中奏效的探索精神，对其他 AI 系统产生了深远的影响：AlphaFold 将这些基础应用于帮助解决蛋白质结构预测这一 50 年来的重大挑战——这一突破荣获了 2024 年诺贝尔化学奖。
我们早期的工作已经证明，只要给定一个明确的目标和足够的训练时间，AI 可以精通任何游戏。但现实世界并没有分数和规则手册——这促使我们提出了一个根本不同的问题：AI 能否像人类一样理解和交互于任何游戏世界？
这正是 SIMA 背后的挑战。SIMA 是我们的"可扩展可指导多世界 Agent"。与追求高分不同，SIMA 是一个通才型 Agent，它能"看到"玩家在屏幕上看到的内容，理解自然语言指令，并通过普通的键盘和鼠标操作来执行动作——无需任何 API 或源代码访问。
SIMA 2 由我们的前沿 AI 模型 Gemini 驱动，作为一名交互式伙伴，具备实时推理和对话能力。它在复杂的 3D 研究环境和视频游戏中实现了类似人类的游戏表现，包括《No Man's Sky》、《Valheim》、《Hydroneer》等。
对于游戏开发者而言，一个真正通用的游戏 Agent 将解锁与现有游戏无缝配合的 AI 能力——无需对游戏代码做任何修改。这可以赋能全新的游戏玩法，从能够真正理解游戏世界的 AI 伴侣，到以脚本系统永远无法实现的方式去适应和回应的非玩家角色（NPC）。
一个通用的游戏 Agent 也可以改变游戏的制作方式。在开发过程中，当游戏随着每次提交而变化时，这类 Agent 可以实现真正稳健的 QA 测试。上线之后，当新内容引入或玩家行为不可预测时，它们可以实时适应——无需重新编写脚本即可泛化到新场景。
为了安全且负责任地开发 SIMA Agent，我们与知名游戏工作室建立了合作，并正在构建一个不断壮大的 AI 研究游戏组合。这使我们能够用日益复杂的任务来挑战我们的 Agent——这些任务有一天可能会转化为解决现实世界的问题。
游戏工作室带来了专业的技艺、非凡的游戏世界，以及对玩家的深入了解。我们带来的则是前沿 AI——从 Gemini 到生成式交互环境和具身 Agent 的研究——研究专业知识，以及我们团队独特的游戏开发背景和多年构建交互环境 AI 的经验。我们共同专注于发现突破性的体验——没有 AI 就不可能实现的、前所未见的游戏玩法。
这无关乎技术本身，而是关乎有趣的体验。因此，我们与合作伙伴采用"展示，而非讲述"的方式。我们的团队与游戏开发者并肩工作，探索新想法、构建可玩的原型，以寻找真正的乐趣。
我们与 Fenris Creations（EVE 宇宙背后的独立工作室）的最新研究合作，代表了我们 AI 游戏研究历史上新的篇章。
Fenris Creations 用超过二十年时间，构建了游戏界最非凡的持久世界之一。2003 年上线的 EVE Online，是一款大规模多人在线太空模拟游戏，数以千计的玩家共享同一个宇宙，这个宇宙已经持续演进了二十多年。其玩家驱动型经济具备真正的供需动态和覆盖数千个星系的贸易网络。其景观——由联盟、冲突和外交所塑造——由人类互动所驱动。
对于 AI 研究而言，这是一个黄金机遇。这是一个活生生的、不断演进的世界，恰恰需要我们认为对前沿 AI 至关重要的那些能力：
这些挑战位于我们更广泛研究计划的核心，旨在创建能够从经验中持续学习的系统，且学习速度随时间推移不断加快。我们相信，这些前沿能力未来可能解锁全新的游戏体验。
EVE Online 从第一天起就被设想为一个具有持久后果的沙盒，由玩家塑造。这在数十年来为玩家和员工带来了无数关于人类成长的故事。与 Google DeepMind 一起，我们正在挺进一片未知的领域——在那里，AI 必须以其他游戏环境都不曾要求的时间尺度来学习、适应和记忆；同时也帮助我们理解人类和 AI 如何在一个虚拟环境中共存——在我们不得不在现实生活中面对同样问题之前。
"EVE Online 从第一天起就被设想为一个具有持久后果的沙盒，由玩家塑造。这在数十年来为玩家和员工带来了无数关于人类成长的故事。与 Google DeepMind 一起，我们正在挺进一片未知的领域——在那里，AI 必须以其他游戏环境都不曾要求的时间尺度来学习、适应和记忆；同时也帮助我们理解人类和 AI 如何在一个虚拟环境中共存——在我们不得不在现实生活中面对同样问题之前。" —— Hilmar Pétursson，Fenris Creations CEO
我们的研究合作横跨 Fenris Creations 不断扩展的宇宙，为 AI 开发提供了多样化的环境。EVE Online 提供了一个大规模单分区持久宇宙，而 EVE Vanguard 则以第一人称视角来玩，为更广泛的持久世界带来了地面级、快节奏的战术决策体验。这为研究跨多层级抽象层面运作的 Agent 创造了机会——从毫秒级战术到横跨星系的战略。
此外，EVE Frontier——凭借其可编程的"智能组件"及其开放、可扩展的架构——提供了一个开放式的环境，在那里世界的规则本身可以发生变化，要求 Agent 去适应全新的游戏机制。
在 Google DeepMind 与 Fenris Creations 共同举办的一场研讨会上，进行了一场"展示，而非讲述"的 session，团队之间分享可玩原型、反馈，并讨论新游戏体验的想法
我们的合作已经带来了真正的玩家价值：Aura Guidance 系统利用 Gemini 来传递玩家生成的知识，基于真实的新手帮助问答，帮助新手飞行员上手。
我们更长期的研究计划从 EVE Online 的一个离线实例开始——这是一个与真实玩家隔离的安全沙盒。然后通过 EVE Frontier 作为研究人类与 Agent 如何在一个持久且开放式的世界中共存的空间。只有当能力成熟后，我们才会考虑将它们带到 EVE Online 和 EVE Vanguard，目的是丰富人类的游戏体验。
游戏一直是智能的一面镜子。当游戏变得更加复杂、更加持久、更加开放时，我们构建用于探索它们的 AI 系统也是如此。
我们的终极目标与以往始终如一：AI 作为催化剂，而非替代者。我们的长期愿景是解锁突破性的游戏体验，让游戏更加易于上手、更加个性化，并且——正如我们从 AlphaGo 到 AlphaFold 所见证的那样——将在游戏中学到的东西应用到现实世界的问题上，推动科学发现。
我们感谢所有在这一旅程中与我们合作的游戏合作伙伴，也感谢 Fenris Creations 加入我们的下一段征程。我们迫不及待地想要分享我们的发现。
我们要感谢 Google DeepMind 内部多年来为推动游戏领域安全且负责任的 AI 研究做出贡献的所有团队。
特别感谢所有与我们合作的游戏开发者：Coffee Stain（《Valheim》《Satisfactory》《Goat Simulator 3》）、Fenris Creations（《EVE Online》《EVE Vanguard》《EVE Frontier》）、Foulball Hangover（《Hydroneer》）、Hello Games（《No Man's Sky》）、Keen Software House（《Space Engineers》）、RubberbandGames（《Wobbly Life》）、Strange Loop Games（《Eco》）、Thunderful Games（《ASKA》《The Gunk》《Steamworld Build》）、Digixart（《Road 96》）以及 Tuxedo Labs & Saber Interactive（《Teardown》）。