GameScaling 开源游戏操作模型与部署代码
米哈游与多所高校联合开源 GameScaling,提供 0.8B 至 27B 的八个模型检查点,可根据游戏画面和操作历史生成键鼠指令。项目采用 Apache 2.0 许可证,包含推理客户端、操作解析与示例程序,并支持 vLLM 部署。
AI 深度解读
GameScaling 把视觉语言模型接到了游戏操作上:输入当前画面和部分历史记录,输出键盘、鼠标动作。米哈游崩坏 AI 研发团队与清华、北大等机构开源了 8 个模型检查点,覆盖 0.8B 至 27B 参数规模。
对程序员来说,值得看的不只是模型能玩哪些游戏,还有它怎样组织连续操作,以及如何用不同模型规模、不同训练数据研究游戏能力。至于模型变大究竟能提升多少,原文没有提供足够的实验结果。
它怎样从看画面变成操作角色
GameScaling 基于 Qwen3.5 视觉语言模型继续预训练,使用的是包含键盘、鼠标操作的游戏过程数据。继续预训练可以理解为:在已有模型基础上,继续用游戏数据训练,让它学习画面与操作之间的关系。
根据项目说明,模型接收当前游戏画面、此前的部分画面和操作记录,再生成后续动作。历史信息在这里有实际用途:单张截图只能显示某一刻的状态,连续画面与操作记录则能补充角色此前做了什么。
它输出的是供程序执行的操作指令,而不是一段游戏攻略。
原文列举的任务包括:《我的世界》中的采矿、合成物品和对抗僵尸,《毁灭战士》中的战斗与寻路,以及密室场景里的解谜和逃脱。但原文没有给出各任务的成功率,也没有说明这些能力分别在哪些模型版本上得到验证,不能据此认定所有版本都能稳定完成这些任务。
每次生成约 200 毫秒操作,能保证实时吗
模型每次调用生成一段覆盖约 200 毫秒的操作序列,其中包含 6 个操作步骤,每步持续 33 毫秒,同时包含鼠标移动和滚轮指令。
这里要分清两个时间:一个是动作执行多久,另一个是模型生成动作要多久。6 × 33 毫秒约为 198 毫秒,与项目所说的「约 200 毫秒」对应;它没有说明模型能在多少毫秒内完成推理。
一次输出多个步骤,可以减少逐步请求模型的次数。不过,执行这一段动作期间如何接收新画面、是否允许中断、怎样处理推理延迟,原文都没说清。
约 200 毫秒是动作序列的覆盖时长,不能直接当成推理延迟。
项目面向实时游戏交互设计,但实际速度仍受模型规模、硬件配置和推理负载影响。评估能不能用,最终要测完整的「采集画面、模型推理、解析指令、执行动作」链路。
8 个版本,分别在比较什么
GameScaling 提供 0.8B、2B、9B、27B 四种参数规模,每种规模都有 S1、S3 两个版本,共 8 个模型检查点,各版本均使用 1600 小时游戏数据训练。
S1 仅使用《我的世界》数据;S3 使用多游戏混合数据,其中《我的世界》占比为 27%。这组设置提供了两个观察方向:模型规模变化与能力的关系,以及专门学习一个游戏和混合学习多个游戏的差别。
研究团队发布的论文名为《Scaling in Games: Continued Pre-Training for Embodied Agents in Diverse Virtual Worlds》,研究重点是游戏场景中的规模扩展规律(Scaling Law),也就是投入更多模型参数等资源后,能力如何变化。
但有一组版本,不等于已经证明了一条规律。原文没有展示性能曲线、任务评分或对照实验,无法据此判断 27B 比 0.8B 强多少,也无法判断 S3 是否比 S1 更擅长《我的世界》。
部署方面,项目说明 0.8B、2B、9B 的权重均可在单张 GPU 上部署,27B 则需要两张 GPU 做张量并行推理,即把模型计算分摊到两张卡上。原文没有列出具体显存数值,因此「单卡可部署」不能理解成任意消费级显卡都能运行。
项目还提供推理客户端、提示词模板、操作解析代码和示例程序,支持通过 vLLM 部署服务,代码与模型权重均采用 Apache 2.0 许可证。
我的判断
我更看重它把模型权重与交互配套代码一起开放。对想研究游戏智能体的开发者,这至少提供了一个可检查、可接入的起点。这里的智能体(Agent),就是根据环境观察持续选择并执行动作的程序。
它与脚本、规则系统的取舍也很明确:规则系统适合流程清楚、条件可枚举的任务;GameScaling 尝试从画面和历史记录中学习操作,目标更灵活,但运行成本、稳定性和排错难度都需要验证。
原文没有给出两种路线的对照数据,也没有提供足够证据证明多游戏训练带来了普遍迁移能力。这是一则介绍开放模型与研究方向的消息,还不足以支撑「游戏操作已被通用模型解决」的判断。
能拿来做什么
- 想研究游戏 Agent,可以先检查项目的推理客户端、提示词模板和操作解析代码,弄清画面、历史记录与动作序列之间的接口,再考虑自行接入环境。
- 准备本地试跑,可以从 0.8B 或 2B 版本开始,先核对仓库中的显存要求,再测完整交互链路的延迟,不要用约 200 毫秒的动作时长估算运行速度。
- 想比较训练数据的作用,可以选择相同参数规模的 S1、S3,在同一批《我的世界》任务上记录成功率、耗时与失败原因,再判断多游戏混合训练对自己的任务是否有帮助。