5月13日双盈策略，昆仑万维正式开源（17B+）Matrix-Game大模型，即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工业界开源的10B+空间智能大模型，它是一个面向游戏世界建模的交互式世界基础模型，专为开放式环境中的高质量生成与精确控制而设计。
空间智能作为AI时代的重要前沿技术，正在重塑我们与虚拟世界的交互方式。通过融合视频生成、三维建模与交互控制等核心技术，空间智能不仅支持更加自然、直观、沉浸的体验，也在具身智能、影视制作、游戏开发等领域展现出巨大潜力。
昆仑万维长期关注空间智能的新进展，经过不懈的技术研发，今天正式开源Matrix-Game，不仅刷新了交互式世界生成的技术，也为构建通用虚拟世界基座树立了标杆。
Matrix-Game聚焦于视频生成与用户交互的深度融合，让用户可以通过简单直观的指令，自由探索、操控、甚至创造出细节丰富、物理规则合理的虚拟世界。
Matrix-Game由以下三大核心部分构成：
1. Matrix-Game-MC数据集：自主构建的大规模交互世界数据集，包含两类数据：一是大规模无标签的Minecraft游戏视频，二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据，具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。
2. Matrix-Game主模型：基于先进扩散模型技术开发的图像到世界生成框架，能够根据用户输入（键盘指令、鼠标移动等）生成连贯、可控的互动视频，兼顾视觉质量、时序一致性与物理合理性。
3. GameWorld Score评测体系：提出统一的游戏交互世界评估标准，从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度，全面量化模型性能，填补了该领域缺乏系统性评测基准的空白。
通过两阶段训练策略（无标签数据预训练 + 标注数据可控训练），参数规模达 17B 的 Matrix-Game 世界基座模型在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。具备以下模型优势：
细粒度用户交互控制：支持前进、跳跃、攻击、视角移动等细节操作，根据用户输入响应，操作体验准确自然。
高保真视觉与物理一致性：生成结果在保持视觉连贯的同时，遵循自然物理规律，如重力、碰撞等，显著提升沉浸感。
多场景泛化能力：具备对多种 Minecraft 游戏场景的泛化能力，涵盖不同地形、天气和生物群系，并具备向非 Minecraft 游戏环境泛化的潜力。
系统化评估体系：提出统一的 GameWorld Score 标准，为交互世界模型的客观评估与持续优化提供有力支撑。
Matrix-Game能够在不同Minecraft场景下（如森林、沙滩、沙漠、冰川、河流、平原等）实现可控生成，包括基础运动、复合运动、视角运动等。例如，在一个沙漠场景中，Matrix-Game 能够根据用户输入的任意控制指令（如键盘的 W/A/S/D 方向键、Space 键用于跳跃、Attack 键用于攻击，以及鼠标用于视角移动），生成对应的游戏世界视频，支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。
在此基础上，Matrix-Game 支持自回归式的长视频生成，不仅能实现动作与视角之间的丝滑衔接，还在时间一致性与环境适应性方面表现出色，为开发沉浸式长时体验、创意内容生成及游戏设计等应用奠定了坚实的模型基础。
不仅如此，在非Minecraft场景泛化上，Matrix-Game表现得也非常出色。
接下来，我们来看看Matrix-Game是如何达到这样的效果的。
01
数据构建：大规模高质量Matrix-Game-MC数据集
为构建能够理解物理规则并具备交互生成能力的世界基础模型，Matrix-Game 自主构建了大规模 Matrix-Game-MC 数据集，涵盖从无标签预训练数据到精细标注的可控视频的完整流程，兼顾数据规模与质量。
无标签预训练数据集采用三阶段过滤机制从6000小时的MineDojo数据中过滤出近千小时高质量数据: (1) 画质与美学过滤；(2) 非游戏内容剔除；(3) 动态与视角稳定性过滤。
有标签数据采用两种策略混合生成数千小时的可控监督数据：
探索代理（Exploration Agent）：借助 VPT agent 在 MineRL 环境中进行自动探索，生成大规模、高质量的 Minecraft 视频数据，数据中包含精确的键盘与鼠标控制信号，支持可控性学习。
程序化模拟（Unreal Procedural Simulation）：基于 Unreal Engine 手动构建结构清晰、标签精确的模拟交互场景双盈策略，提供位置信息、动作标签（离散与连续）、以及环境反馈信号（如方块是否成功破坏），生成高精度、无噪声的可控标注数据，助力高保真动作-响应建模。
02
模型架构：Matrix-Game从图像出发构建可控交互世界
Matrix-Game是以图像为输入的交互式世界生成基础模型，整体架构围绕以下几个核心设计：
图像到世界建模（Image-to-World Modeling）
强调空间智能能力：不依赖语言提示，仅基于视觉信号建模空间几何、物体运动及其物理交互；
输入形式：以单张参考图像作为生成交互式视频的起点；
交互可控生成：融合用户动作输入（如键盘、鼠标），通过类似 Flux 与 HunyuanVideo 的多模态扩散模型直接生成虚拟游戏世界的视频内容。
自回归式视频生成（AutoregressiveDiffusion Generation）
支持自回归方式扩展生成长度，可持续生成高一致性长视频内容；
每次以前一视频片段的最后 k=5帧作为运动上下文，逐段递进生成，确保时间上的连贯性；
为缓解时序漂移和误差累积，训练中以一定概率针对参考图像与运动上下文引入随机扰动、随机删除，以及Classifier-free guidance策略。
可控交互设计（Injecting Actions for Controllability）
键盘动作（如上下左右、跳跃、攻击）以离散token表达，视角移动动作（如鼠标pitch角度）则以连续token表达；
采用GameFactory的控制模块，并融入多模态Diffusion Transformer架构；
使用 Classifier-free guidance策略提升对控制信号的鲁棒响应能力。
03
评测体系与模型性能：提出统一基准 GameWorld Score，重塑交互式世界生成标杆
为了系统性评估和比较交互式世界生成模型的性能，Matrix-Game提出了一套专为 Minecraft 世界建模设计的统一评测框架——GameWorld Score。该评测体系弥补了现有基准在交互性、物理一致性等维度的缺失，首次实现了对感知质量 + 控制能力 + 物理合理性的全方位衡量。
GameWorld Score 包含四大核心评估维度：
视觉质量（Visual Quality）：评估每一帧图像的清晰度、结构一致性与真实感。依据人类视觉系统（HVS）标准衡量每一帧图像生成效果。
时序质量（Temporal Quality）：衡量模型生成视频的动态连贯性，包括运动连续性、节奏平滑性与时间稳定性。
交互可控性（Action Controllability）：评估生成结果是否准确响应用户输入的控制信号，涵盖离散控制（如前进、跳跃）和连续控制（如视角转换）。
物理规则理解（Physical Rule Understanding）：测试生成视频是否遵循物理常识与空间一致性。
在GameWorld Score评测系统中，Matrix-Game在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩。
在双盲人评实验中，用户更倾向于选择 Matrix-Game生成的视频：
96.3% 总体偏好率，生成效果更真实、连贯、可信；
93.76% 动作控制偏好，准确响应键盘与鼠标指令；
98.23% 视觉质量得分，单帧画面更清晰美观；
89.56% 时间一致性得分，动态流畅，无闪烁跳变。
在控制性能上，Matrix-Game可实现：“运动”“攻击”等动作高达 90%+ 准确率；细粒度视角控制下依然保持高精度响应。
在 8 大典型 Minecraft 场景中全面领先，展现出卓越的环境适应性与泛化能力，可广泛应用于复杂动态的虚拟世界交互任务。
Matrix-Game用事实证明，它不仅能“看得清”，更能“动得准、控得稳”，是当前工业界最强的交互式世界生成基座模型之一。
04
昆仑万维引领交互式世界生成新纪元
Matrix-Game作为空间智能领域交互式世界生成的重要里程碑，将潜在为多个领域带来革命性影响：
虚拟游戏世界快速搭建：借助模型的可控生成能力，可低成本、高效率地创建多样化、结构合理的游戏地图与交互环境，显著提升关卡设计与任务构建的自由度。
影视与元宇宙内容生产：支持高保真、物理一致的动态场景合成，为沉浸式体验开发与创意内容生成提供通用世界建模基础。
具身智能体训练与数据生成：尽管当前模型未直接用于具身智能，Matrix-Game 具备生成大规模交互视频的能力，具备扩展至具身智能体训练与评估的潜力，可为智能体创建多样复杂的虚拟环境，辅助其任务执行与推理能力的提升。
Matrix-Game让世界不再只是被观看，而是被探索、被操控、被创造。昆仑万维正站在空间智能时代的新起点，邀请每一位探索者一起，用指尖绘制属于自己的无限虚拟世界。
未来，昆仑万维将持续投入前沿技术与基础模型研发，并且坚定开源SOTA级别模型回归社区。我们相信，Matrix系列世界模型将对公司AI短剧生产和编辑以及AI游戏生产等业务进一步赋能，为用户和开发者带来新的平台和工具。
举报 相关阅读
昆仑万维2025年一季度营收17.6亿，大幅增长46%，AI业务商业化实现新突破 56 04-29 13:08 
低空经济：新能源与数字革命的双螺旋结构重塑工业智能低空经济作为新能源革命与数字革命的战略交汇点，通过"绿色动力-数字基座"双螺旋结构重塑工业智能的跃迁路径，实现实体资产数字化和数字价值实体化的双向奔赴。
24 03-17 14:59
腾讯、阿里、阶跃星辰入局，视频生成模型掀起开源潮在能力较突出的视频生成大模型中，开源模型已占有一席之地。
190 03-06 20:47
OpenAI最大“期货”Sora开放使用，面临近20个竞争对手挑战10个月前掀起视频生成热潮的Sora开放使用了，现在它要面对近20个竞争对手。
458 2024-12-10 11:42
王炸来了！OpenAI正式推出AI视频生成模型Sora新版工具Sora Turbo可以生成最长达20秒的视频双盈策略，并且可以提供这些视频的多种变体。
164 2024-12-10 07:51 一财最热 点击关闭米牛配资提示：文章来自网络，不代表本站观点。
沪深京指数
热点资讯
