Um grupo de pesquisadores propõe inverter a lógica dos modelos de mundo interativos. Em vez de exigir que um modelo de vídeo memorize o estado do jogo, o Matrix-Game 4.0 coloca uma engine leve no comando.
A geração visual passa a atuar apenas como renderizador.
Segundo os autores, o sistema roda jogos em 480p a 60 FPS em uma única NVIDIA RTX 5090. São 112 ms entre o pressionar da tecla e a imagem na tela.
A geração de um único passo chega a 83 FPS de throughput.
A proposta é menos um modelo maior e mais uma arquitetura diferente. Código define regras.
Engine mantém estado. Vídeo gera aparência.
O que os autores propõem
Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang e os demais coautores apresentam o Matrix-Game 4.0 como "o primeiro sistema construído" sobre um roadmap. O roadmap separa execução de jogo de geração visual por meio de um executable game harness.
A arquitetura tem três peças. A primeira é uma engine de jogo leve, que mantém o estado do mundo e executa regras de interação.
A segunda é um agente de codificação multimodal, que traduz ideias do jogador em código executável e em legendas dinâmicas de cena. A terceira é um renderizador baseado em modelo de vídeo autorregressivo, que transforma proxies low-poly renderizados pela engine em quadros detalhados, condicionados por legendas dinâmicas e referências de memória.
As contribuições declaradas são quatro. A primeira é geração de vídeo jogável em tempo real em uma GPU de consumidor.
A segunda é o roadmap conceitual que separa execução de renderização. A terceira é um pipeline reutilizável que cobre coleta de dados, treino, destilação autorregressiva em poucos passos e otimizações de inferência.
A quarta é a abertura de código, pesos e assets low-poly no lançamento, disponíveis na página do projeto.
Contexto: qual problema está sendo atacado
O artigo se posiciona contra a linhagem de modelos de mundo interativos representada pela série Genie (Bruce et al. 2024; Parker-Holder et al.
2024; Ball et al. 2025) e por trabalhos como Valevski et al.
(2024), Decart (2024) e He et al. (2025).
Segundo os autores, quando o objetivo deixa de ser uma exploração curta e passa a ser um jogo longo, com regras controláveis, quatro problemas aparecem. O primeiro é a ausência de correção externa contínua: o estado do mundo existe implicitamente nos pixels e no contexto do modelo.
O segundo é o acúmulo de erros ao longo do rollout autorregressivo, que degrada a consistência até o colapso da cena. O terceiro é a memória baseada em quadros não comprimidos, cujo custo cresce com a duração da sessão.
O quarto são as mecânicas de jogo limitadas, restritas a navegação e respostas ambientais simples.
Há ainda uma crítica conceitual. Retomando a classificação tripartite de Roman Jakobson, os autores tratam o mapeamento texto-para-vídeo como tradução intersemiótica.
Argumentam que os geradores de vídeo atuais não são modelos de fundação de visão para modelagem de mundo. Boa parte da compreensão semântica viria de MLLMs e encoders de texto a montante, enquanto o difusor atuaria como renderizador.
Dessa leitura vem a decisão de projeto: se o modelo generativo não sustenta estado nem regras, que ele faça apenas o que faz bem.
Como funciona
A engine funciona como "árbitro" do mundo. Vida, inventário, gravidade, colisões e progresso de missões são mantidos e impostos em código, não inferidos de imagens.
A cada ação do jogador, a engine atualiza o estado e emite structural renderings. São esboços de cena que restringem layout espacial, movimento de objetos e ponto de vista da câmera.
Mesmo objetos fora do campo de visão continuam com estado mantido, o que resolve diretamente o problema de memória implícita.
O agente multimodal opera em duas direções. A jusante, converte estruturas e eventos definidos pela engine em descrições visuais.
Uma caixa simples pode virar "uma casa de palha antiga, castigada pelos ventos do mar, com uma porta de madeira vermelho-escura". Quando o jogador acerta um barril de óleo, a engine decide se houve acerto e dispara a explosão.
Ao agente cabe apenas descrever o resultado visual.
A montante, o agente escreve o mundo. Implementa pedidos específicos editando configurações de cena e código de jogo.
"Fazer monstros surgirem de todas as direções" exige definir spawn, movimento, ataque e condição de vitória. O agente também improvisa quando o jogador deixa detalhes em aberto, registrando o novo conteúdo na engine, que passa a manter seu estado.
O renderizador é treinado em pares alinhados de proxy low-poly e vídeo de alta fidelidade capturados em Unreal Engine 5. A cobertura são quatro tipos de cena: a megacidade CitySample, um deserto aberto, um castelo complexo e combate aéreo de alta dinâmica.
Cada captura contém três vídeos alinhados (RGB do UE5, render de estrutura low-poly e render de profundidade do proxy) mais metadados por quadro. Clipes de tiro e combate aéreo duram cerca de um minuto, e os conjuntos de validação são sessões inteiras de captura.
Nenhum clipe de sessão reservada entra no treino.
No proxy, o céu é preto, o chão é um tabuleiro cinza, prédios viram caixas de cor plana, árvores viram cilindro com esfera, personagens viram blocos. Tudo com contorno preto e sem textura, reflexo ou sombra.
As legendas são dinâmicas. Cada objeto tem um ID ligado a uma descrição semântica, e o sistema lê da engine os objetos visíveis e seus estados em tempo real para preencher o template de prompt.
O modelo é destilado em um gerador causal que produz em blocos de quatro quadros com um ou dois passos de denoising. O loop completo é: entrada do jogador, atualização de estado, render estrutural e sinais de controle, renderização de vídeo, feedback visual.
Resultados reportados
Os números centrais, todos apresentados como medições dos autores: 480p a 60 FPS em uma RTX 5090, com latência de 112 ms entre tecla e exibição. A geração em passo único atinge 83 FPS de throughput em regime estacionário, com pico de 18,2 GiB de memória de GPU.
Com prompts fixos, o throughput em regime estacionário chega a aproximadamente 67 FPS em uma RTX 5080 e 58 FPS em uma RTX 5070 Ti. Isso estende o deployment para GPUs de consumidor com 16 GiB. A demonstração cobre jogos de tiro e de direção customizáveis, com mecânicas impostas pela engine.
A Tabela 3 do artigo, citada no texto, concentra esses dados de desempenho.
Limitações e o que não foi provado
O extrato disponível não traz comparação quantitativa com Genie ou com outros modelos de mundo interativos. Também não traz métricas de qualidade visual, consistência temporal ou aderência às condições estruturais.
Os 83 FPS referem-se ao passo único de denoising; o artigo não quantifica, no material consultado, o custo de qualidade de usar um versus dois passos. A latência de 112 ms é medida localmente, sem rede, e não há discussão de jitter ou de variação de quadro.
O treino usa apenas cenas sintéticas de UE5, em quatro tipos de ambiente. Generalização para footage real, assets criados por usuários e estilos artísticos fora desse vocabulário é uma incógnita.
As mecânicas demonstradas são de tiro e direção. Jogos com física complexa, muitos NPCs simultâneos ou inventários grandes não foram exercitados.
O modo multiplayer é descrito como possibilidade arquitetural: vários jogadores compartilhando o mesmo estado, cada um com sua perspectiva. Mas não aparece como demonstração.
Também não há, no extrato, avaliação da qualidade e da segurança do código produzido pelo agente, nem com que frequência ele gera jogos funcionais. A tese de que difusores atuam sobretudo como renderizadores é um argumento conceitual, não um experimento isolado.
Por que isso importa para quem constrói com IA
A lição mais transferível não é o FPS, e sim o padrão de projeto: não delegar a um modelo generativo aquilo que uma estrutura determinística pode garantir. É o mesmo raciocínio que separa compilador de runtime ou, em sistemas agênticos, o planejador da ferramenta que executa.
Ao manter estado em código, o sistema ganha depuração, determinismo nas regras e custo de memória que não cresce com a duração da sessão. São os três problemas que mais atrapalham aplicações agênticas de longo prazo.
Para times que constroem produto, o número a observar é a combinação entre latência e memória. Os 112 ms e 18,2 GiB em uma placa topo de linha significam que a abordagem ainda pede hardware caro.
Os 67/58 FPS em placas de 16 GiB aparecem com prompts fixos, ou seja, sem toda a parafernália de legendas dinâmicas. O ponto de projeto, porém, vale para qualquer orçamento: separar o que precisa ser exato do que pode ser gerado, e usar o modelo caro apenas onde ele agrega.
A abertura de código, pesos e assets low-poly reduz a barreira para testar essa hipótese em cenários próprios, o que é o teste que realmente importa.
Referências
- Zhang, J.; Qian, R.; Kong, K.; Jiang, B. et al. Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds. arXiv:2610.27999, cs.CV, 2026. https://arxiv.org/abs/2610.27999
- Página do projeto, com vídeos, código e modelos: https://matrix-game-v4-0.github.io/page/
- Bruce, J. et al. Série Genie, 2024; Parker-Holder, J. et al., 2024; Ball, P. et al., 2025 (trabalhos citados pelos autores como base da linha de modelos de mundo interativos).
- Epic Games. Unreal Engine 5, 2024; e CitySample, 2022 (fontes dos dados de captura pareada).
- Jakobson, R. Classificação tripartite da tradução, 2021 (referência conceitual usada pelos autores).
