EdenLive开源：单卡运行交互式世界模型

听雨 发自 凹非寺
量子位 | 公众号 QbitAI

实时世界模型 EdenLive 正式发布并开源。

据 VAST 介绍，EdenLive 首次实现了在实时生成的前提下，同时支持任意参考输入、任意画风生成和长时间连续运行。

具体来说，给它简化场景或参考视频，再配上目标首帧和 prompt，就能沿着参考素材的布局与运动，持续生成写实、二次元等不同画风的精细画面。

参考来源可以不同，生成画风可以指定，这些变化都能在实时生成过程中呈现。

在单张消费级显卡 NVIDIA RTX 5090 上，720P 条件下，5B 模型的生成速度超过 24FPS，还能持续生成分钟级画面。

据 VAST 介绍，从用户输入操作到对应画面出现，这套系统目前的端到端延迟为百毫秒级。

画面持续变化的同时，交互规则和世界状态由上游交互系统维护。系统接收玩家操作、更新状态，EdenLive 再根据对应的参考画面，将这些变化实时呈现出来。

最近，AI 在 3D 场景搭建与交互创作上的能力，变得越来越直观。

GPT-6 Astra 就是一个典型例子：它已经能够在 Blender 里搭建房屋，再将其转入 Unreal Engine 5，形成可以进入、漫游的场景。

当 AI 能够搭建场景、设计交互玩法，如何让这些内容获得精细且实时的视觉表现，也就成为接下来需要解决的问题。

在这样的背景下，一条技术路线逐渐成为行业共识：由交互系统维护底层状态和运行规则，再由生成模型负责视觉渲染。

而这套分工，VAST 早在今年 6 月初就已经明确，并对外发布成果。

当时公开的 Project Eden 研究预览，已将“状态维护与视觉渲染解耦”作为核心设计。

从时间上看，这一路线选择早于行业共识形成约 3—4 个月。

如今，EdenLive 作为这条路线的阶段性成果发布，并开放模型权重和推理代码，同步公开技术报告与端到端 Demo。

代码：https://github.com/VAST-AI-Research/EdenLive

项目主页：https://vast-eden.ai/?p=edenlive

技术报告：https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

开放权重：https://huggingface.co/VAST-AI/EdenLive

EdenLive 的核心价值，在于为简化场景和交互内容提供高质量实时渲染，底层逻辑与状态则继续由上游交互系统维护。

它具体能做什么？我们先来欣赏一波 Demo。

首先是交互式游戏预览，2D、3D 场景都可以接入。

现阶段，EdenLive 更适合场景漫游、推箱子等交互相对低频的玩法，让创作者在操作游戏原型的同时，查看精细画面下的呈现效果。

【此处无法插入视频，遗憾……可到量子位公众号查看～】

比如岩浆闯关，角色用冷冻枪制造落脚点，再通过跳跃一路前进。

要让这样的游戏画面随着操作持续更新，生成速度首先得跟上。

据 VAST 公布的数据，在单张消费级显卡 RTX 5090、720P 条件下，EdenLive 的 5B 模型生成速度超过 24FPS，也就是每秒生成超过 24 帧画面。

另一个 Demo——双人对打游戏，则能具体展示角色动作与血条、回合计时等游戏状态的配合。

除了画面更新速度，按下按键后多久能看到反馈，也直接影响交互体验。

据 VAST 介绍，EdenLive 目前从用户输入到对应画面出现，端到端延迟为百毫秒级。

这套系统还支持分钟级连续生成，让场景漫游和连续操作有更长的展开空间。

除了游戏互动，EdenLive 还可以用于场景与动画预览，在场景布局和运镜已经确定的基础上，更换不同的美术风格。

比如，让大家天天玩的“鹈鹕骑自行车”成真……

生成画面不仅让羽毛和海边环境有了细致的质感，还模拟出了真实的光影。

用简单模型搭出的雪地行车场景，经 EdenLive 生成后，也呈现出了更写实的车身纹理、积雪和光影效果。

这些画面的生成，由三类输入共同控制：参考画面提供场景布局、镜头与运动，目标首帧设定整体外观和画风，prompt 则补充风格与细节。

因此，同一套布局和运镜，可以用来生成不同美术风格的版本，供导演和概念设计师比较、选择。

已有视频也可以交给 EdenLive 重新渲染，实时替换角色形象、画面内容和整体风格。

比如，将蓝色背景前的真人转换成卡通角色，但人物姿态和服装配色仍与参考画面保持一致。

这类用法类似虚拟主播换形象，以真人的动作作为参考，生成另一种角色外观。

房屋的大体布局得到保留，屋顶、墙面和窗框则用线条重新勾勒，色彩与光影也变得更加柔和。

EdenLive 还可以用于具身数据增强，将真实人类操作画面转成机器人视角，并对第一视角视频中的物体和外观进行修改。

比如这段视频中，人手拿着喷壶和抹布清洁台面。

经 EdenLive 生成后，双手被替换成机械手，抹布从橙色变成了黄色，但清洁动作仍然与原视频保持一致。

除了替换操作主体，第一视角视频中的物体、材质和颜色也可以调整。

比如把人手替换成金属机械手臂，推车扶手换成银色金属质感，但抓握和推行的动作与原视频保持一致。

这样，已有操作视频就能衍生出不同外观的版本，为具身研究扩展视频样本。

从简单的 2D 动画、3D 场景，到实拍视频和第一视角操作画面，这些不同来源的素材，都可以作为 EdenLive 的参考输入。

用同一模型接收多种参考，沿着已有布局与运动改变视觉表现，再以实时、分钟级连续生成的方式输出画面，正是这组 Demo 共同展示的核心能力。

现阶段，EdenLive 也仍存在一些需要改善的地方。

高频、激烈的交互对生成速度和动作呈现有更高要求；多个角色同时出现时的身份保持、小物体的精细控制，以及长时间生成中的视觉一致性，也有进一步提升的空间。

不过，VAST 已经开放了不同规格的模型权重和推理代码，同时公开了技术报告和上述端到端 Demo。

官方还将同步开源 Game Prototype Turbo，一款“Prompt to Proxy Game”Skill。

用户可以通过它快速生成可直接游玩的游戏原型。游戏运行时，交互系统持续更新状态，并输出对应的简化参考画面；EdenLive 再将这些画面实时渲染为精细的视觉内容，反馈给玩家，形成从游戏逻辑到实时视觉呈现的完整链路。

接下来，我们来看看 EdenLive 背后的技术路线究竟是怎样的。

其采用的核心技术是“解耦世界状态与视觉渲染”，也就是把世界如何运行、画面如何呈现分开处理。

角色的移动、攻击和防御，都由玩家按下相应按键来控制；交互系统接收操作，更新角色位置和动作，并判断攻击是否命中、血量如何变化。

EdenLive 则根据这些变化生成画面，让左边简单的方块角色，在右边呈现为更写实的人物。

玩家看到画面反馈，再继续按键操作，游戏便沿着这套循环推进。

我们把这套分工放进完整管线，还能看得更直观：

图中，简化场景或参考视频提供布局与运动，目标首帧和 prompt 指定外观与细节。

EdenLive 结合这些输入，持续输出精细画面；游戏逻辑和状态更新，则由上游交互系统负责。

这也呈现出了 EdenLive 在 Project Eden 中的职责。

Project Eden 是 VAST 长期推进的世界模型研究项目，EdenLive 则是其中聚焦实时生成式渲染的阶段性成果。

管线看起来清楚，但实际做起来，还需要同时兼顾几件事：

画面足够精细、动作跟得上参考、生成速度满足交互需求，还能持续运行。

这就涉及数据如何采集和配对，以及 3D、视频生成与系统工程之间如何协作。

要让模型把简单的方块角色生成写实人物，同时与参考画面保持相应动作，就需要建立参考与生成画面之间的对应关系。

场景布局、镜头运动和物体位置，都需要在数据中得到对齐。

据 VAST 介绍，其数据管线覆盖 2D、3D 简化场景、引擎渲染和真实视频等多种来源的成对数据。

从素材采集、场景构建到数据配对，这些工作共同支撑了 EdenLive 对不同参考和场景的处理能力。

EdenLive 涉及 3D、视频生成与系统工程：既要处理空间结构和运动约束，也要生成细致的视觉效果，还要让模型以足够快的速度持续运行。

而 VAST 的团队配置，也覆盖了这几个方向。

这些要求需要放在同一套系统里协调。画面质量提高后，推理速度能否跟上；外观发生变化时，角色动作能否继续贴合参考，都需要模型与工程团队共同解决。

在此前公开的 Project Eden 研究预览中，VAST 已经明确提出“解耦”设计：

将世界状态与视觉生成分离，让底层状态独立于摄像机视角持续存在，再由渲染模块将其呈现为画面。

围绕这一思路，VAST 进一步给出了三层架构：持续演化的结构化状态、状态到观测的接口，以及生成式神经渲染，分别承担状态维护、观测转换和画面生成的职责。

这一路线选择比行业共识提前了约三四个月。这段时间，也构成了团队沿着既定方向继续积累数据、打磨模型与系统的研发窗口。

从这套分工来看，EdenLive 延续的仍然是 VAST 原有的路线。

构建一个可交互的世界，需要角色、道具和场景资产，也需要明确物体的位置、尺度与空间关系。3D 为这些内容提供了可组织、可操作的基础，并参与世界状态的表达。

视频生成则负责细致的视觉呈现，将已有的结构与运动转化为丰富的材质、光影和动态效果。

两者结合，才能让创作者一边调整场景和玩法，一边获得相应的画面。

这也解释了，VAST 为什么会进一步走向世界模型研究。

原有 3D 模型的能力，除了生成资产，还可以参与构建世界模型所需的数据。

在 Project Eden 的研究介绍中，VAST 提到，团队利用已有 3D 能力，从视频中提取深度、相机位姿和几何运动轨迹等结构信息；同时，利用游戏引擎获取相互对应的状态信息与渲染画面。

这些工作，将 VAST 此前在 3D 模型和数据管线上的积累，延伸到了世界模型需要解决的结构、状态与视觉对应问题上。

从创作流程看，这条路线也在逐步扩大用户能够完成的事情：生成角色和道具，搭建场景，加入交互规则，再为运行中的内容赋予不同的视觉表现。

这也对应着 VAST 提出的愿景：让人人都能自由创造并体验可交互世界。

Project Eden 承担着这一长期探索，EdenLive 则先推进其中的实时生成式渲染环节。

对于创作者，它也提供了一个更具体的入口：把已经能运行的场景和玩法接入模型，在实际操作中尝试画面效果，在此基础上继续修改自己的作品。

如果你感兴趣的话，VAST 也在为这些研究寻找新同事。

其推出的 V·STAR 顶尖人才计划全年开放招聘，面向全球青年算法与研究人才，聚焦 3D 生成基础模型、三维理解、Agent 与世界模型。

VAST 强调开放、扁平的研究环境，鼓励年轻研究者提出新想法，好的技术思路可以快速立项、验证。即便是实习生，也有机会参与核心模型训练，深入模型研发与工程实践。

无论是全职还是实习生，都有机会拿到比头部大厂更具竞争力的薪资，特别优秀者上不封顶，还有长期期权。

如果你也想拥有定义问题的自由，从零推动一个项目，亲历一家头部 AI 公司从 1 到 100 的爆发式成长，获得最宝贵的创业经验，可以试试这个投递通道：

简历发送至 vstar.talent@vastai3d.com，邮件标题请注明：VSTAR – 姓名 – 毕业时间

— 完 —

量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态

下架 8 个月，GPT-4o 的拯救行动居然还在继续
2026-10-11

7 天几百元开一家店！用千问办公电商版，立省启动资金 5 万元
2026-10-15

智谱新模型，490 tokens/s！
2026-10-12

王的猜想，刚刚扩展到四维
2026-10-11

量子位 QbitAI 版权所有
©北京极客伙伴科技有限公司
京ICP备17005886号-1