Um vídeo observado não é o mundo. É uma projeção parcial, com perdas e ordenada no tempo, de um estado latente que evolui.
A premissa organiza um survey de 102 páginas, 17 figuras e 19 tabelas sobre modelos de fundação de vídeo.
Assinam Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr e Hao Fei. Em vez de separar compreensão e geração por modalidade de entrada e saída, os autores propõem quatro operações: ler, escrever, compartilhar e interagir. São formas distintas de conectar observação visual e dinâmica do mundo.
O argumento central: coerência temporal de uma sequência não é o mesmo que consistência do estado de mundo que a produziu.
O que os autores propõem
A contribuição é uma lente analítica, não um catálogo de modelos. A unidade de análise é a relação entre o vídeo observado e o mundo que o gerou.
Dessa relação derivam quatro operações complementares.
Leitura infere propriedades do mundo a partir do vídeo observado. Escrita sintetiza vídeo a partir de condições de mundo especificadas ou aprendidas.
Compartilhamento integra entendimento e geração por mecanismos comuns de modelagem. Interação prevê e atualiza estados de mundo sob ações e observações em evolução.
Os autores insistem em uma distinção que costuma se perder na literatura. Existem duas formas de consistência.
Uma é a coerência temporal da sequência observada ou gerada: o quadro seguinte parece plausível dado o anterior. Outra é a consistência do estado de mundo subjacente: o objeto continua existindo fora do enquadramento, a física não se reinicia a cada clipe, a ação produz o efeito causal esperado.
Métricas de fidelidade perceptual e acurácia de reconhecimento medem a primeira. Quase nada mede a segunda de forma padronizada.
Para o paradigma de interação, o survey propõe uma taxonomia em duas dimensões. O espaço de predição opõe observação e estado latente.
A interface de transição distingue predição passiva, rollout condicionado por ação e interação em loop fechado. O cruzamento gera seis quadrantes, que separam o que o modelo prevê de como a predição é condicionada, atualizada e utilizada.
Os autores também argumentam que surveys anteriores cobrem recortes específicos: modelos de mundo gerais, world models interativos, modelagem 3D e 4D, modelos multimodais de linguagem, geração de vídeo longo, modelos áudio-visuais. Nenhum oferece uma conta unificada entre entendimento, geração, unificação e interação.
Contexto: qual problema está sendo atacado
Duas linhas de pesquisa estão convergindo. A primeira é a dos modelos de fundação de vídeo.
No entendimento, modelos como Video-LLaVA habilitaram interação em linguagem com sequências visuais, e o Qwen3-VL estende o contexto multimodal a 256 mil tokens para acomodar entradas longas.
Na geração, Sora, Wan, HunyuanVideo, Movie Gen e Seedance 2.0 ampliaram a síntese sob condições diversas, com Sora e Loong explorando geração em escala de minutos. Uma terceira frente busca unificar as duas direções por tokens compartilhados, espaços latentes ou interfaces de modelagem comuns.
A segunda linha vem da modelagem de mundo, com raízes em aprendizado por reforço baseado em modelo. Agentes aprendem dinâmica preditiva para simular futuros e avaliar ações antes de agir.
Genie mostrou que ambientes interativos podem ser aprendidos de vídeos não rotulados. GAIA-1 e Cosmos estenderam a predição para direção autônoma e IA física.
V-JEPA 2 e Dreamer 4 exploraram representações preditivas e trajetórias imaginadas para planejamento e controle.
O elo entre as duas é justamente o que o survey explora. Vídeo em escala é supervisão barata e abundante para aprender dinâmica do mundo sem anotação manual.
Mas as ações e os estados físicos subjacentes normalmente não são observados.
Modelos de mundo em vídeo precisam inferir estados a partir de sequências observadas antes de prever como esses estados evoluem. Frequentemente precisam traduzir o estado previsto de volta em observação visual para simulação, avaliação ou planejamento.
Geradores de vídeo, por sua vez, incorporam cada vez mais controles dependentes de ação e de estado.
A pergunta compartilhada, segundo os autores, é qual relação o modelo aprende entre o vídeo observado e o mundo que o origina.
Como funciona
O survey percorre as quatro operações com uma estrutura repetida. Tarefas, dados e protocolos de avaliação.
Representações e arquiteturas. Mecanismos de raciocínio e controle.
Aplicações.
Em leitura, a revisão cobre entendimento semântico, espacial, temporal, físico e causal. Aprendizado de representação por contraste, mascaramento, predição e geração.
Modelagem vídeo-linguagem com arquiteturas, paradigmas de aprendizado e test-time scaling. Modelagem agêntica de vídeo, incluindo uso de ferramentas e aumento por recuperação.
Aplicações em percepção egocêntrica e incorporada, direção autônoma e análise de vídeo em domínios específicos.
Em escrita, organiza tarefas por tipo de condição e discute métricas. Representações latentes contínuas, tokens discretos e esquemas híbridos semanticamente alinhados.
Famílias generativas: difusão, autoregressivo e masked token, modelos baseados em flow, geração assistida por LLM/MLLM e geração agêntica. Estratégias de controle por atenção, adaptadores, espaço latente, concatenação e condicionamento in-context, guidance e ajuste fino.
As aplicações vão de produção criativa e avatares a planos de vídeo para agentes incorporados e dados sintéticos para IA incorporada e condução.
Em compartilhamento, a taxonomia de arquiteturas unificadas distingue unificação por tokens discretos, por latente contínuo, desacoplada e modular, e agêntica com ferramentas. Os paradigmas de aprendizado vão de isolado a dual, co-learning e sinérgico.
A avaliação se divide entre medida por direção e medida de sinergia.
Em interação, além dos seis quadrantes, os autores isolam quatro desafios técnicos. Controlabilidade condicionada por ação.
Consistência e memória de longo horizonte. Resposta em tempo real.
Ancoragem física e causal.
As aplicações incluem motores de dados, treino de política na imaginação, ambientes de avaliação de política, planejamento no estilo prever-para-agir e simulação interativa para humanos. Os benchmarks são agrupados em três classes: alinhados a desafios, alinhados a aplicações e fundamentais/abrangentes.
Resultados reportados
Este é um survey. O material disponível não traz experimentos novos nem comparações quantitativas entre modelos.
O resultado é analítico.
Os autores traçam um deslocamento de ênfase na área. De reconhecimento em nível de clipe e fidelidade perceptual para estado persistente, evolução controlável, validade física e causal, e avaliação ancorada em interação e em decisões downstream.
Também consolidam sete desafios abertos. Consistência de mundo em longo horizonte.
Ancoragem física e causal. Sinergia mensurável em modelos unificados.
Avaliação padronizada de propriedades de mundo. Escala de controle a partir de vídeo não rotulado.
Generalização entre cenas e corporificações. Mundos estocásticos e eventos raros.
Vale registrar o que o material não permite afirmar. Não há, no extrato, rankings, números de desempenho ou ablações que sustentem juízos do tipo "modelo X é melhor que Y".
As 102 páginas e 19 tabelas funcionam como mapa e ponto de entrada, não como evidência comparativa independente.
Limitações e o que não foi provado
A primeira limitação é estrutural. Uma lente unificadora não é uma hipótese testada.
Os autores não demonstram empiricamente que organizar a área por modelagem de mundo produza modelos melhores. Apenas argumentam que ela explica melhor o que está em jogo.
A segunda é de cobertura. O survey diz reter trabalhos que contribuem com evidência arquitetural, metodológica ou avaliativa relevante.
Isso introduz necessariamente critério editorial e risco de viés de seleção.
Os próprios autores afirmam interpretar avanços recentes no contexto de tarefas, dados de treino e protocolos de avaliação específicos. A heterogeneidade de protocolos impede comparação direta entre resultados.
Terceiro, dois conceitos centrais permanecem sem operacionalização métrica. "Consistência do estado de mundo" é conceitualmente clara, mas o survey não oferece uma métrica consolidada para medi-la.
A avaliação padronizada de propriedades de mundo aparece como desafio aberto, não como solução. O mesmo vale para "sinergia mensurável" em modelos unificados.
Há ainda risco de inflação semântica. "World model" pode virar rótulo guarda-chuva aplicado a qualquer gerador de vídeo com boa coerência temporal.
Generalização entre cenas e corporificações, comportamento em mundos estocásticos e eventos raros, e a ligação causal entre adotar modelagem de mundo e obter ganhos em decisões downstream ficam explicitamente em aberto.
Por que isso importa para quem constrói com IA
Para equipes que treinam agentes ou sistemas robóticos, a distinção entre prever observação e prever estado latente é uma decisão de engenharia com consequências práticas. O primeiro caminho entrega vídeo interpretável por humanos.
O segundo tende a ser mais barato e mais útil para planejamento.
A interface de transição complementa a escolha. Um modelo passivo serve para geração e avaliação offline.
Um modelo condicionado por ação serve para rollout. Só a interação em loop fechado serve para um agente agir dentro do modelo.
Confundir as três leva a expectativas erradas sobre o que o sistema faz.
Para quem trabalha com dados sintéticos, a seção de escrita documenta o pipeline que liga geração de vídeo a dados de treino para IA incorporada e condução. Inclui o alerta de que plausibilidade visual não garante validade física.
A discussão de avaliação é útil na hora de escolher benchmarks. Vale perguntar se a métrica mede reconhecimento, fidelidade perceptual ou persistência de estado.
São coisas diferentes, e a maioria das métricas populares cobre apenas as duas primeiras.
A parte de modelos unificados interessa a quem avalia fornecedores. Alegações de sinergia entre entender e gerar precisam de medida própria, e o survey mostra que essa medida ainda não está consolidada.
Os domínios citados na introdução são comunicação, entretenimento, direção autônoma, robótica, saúde e educação. São justamente os que dependem de consistência de estado, não apenas de vídeo convincente.
Na prática, a página do projeto e a lista mantida pelos autores funcionam como ponto de partida para revisão de literatura e para escolher o que ler primeiro entre as 19 tabelas.
Referências
- WU, Shengqiong; LUO, Meng; LI, Bobo; LIU, Ziwei; YAN, Shuicheng; YANG, Ming-Hsuan; TORR, Philip; FEI, Hao. Reading, Writing, Sharing, and Interacting with the World through Video. arXiv:2610.31668, cs.CV, 2026. 102 páginas. Disponível em: https://arxiv.org/abs/2610.31668
- Página do projeto do survey: https://vid-gen.github.io/video-world-model-survey/
- Lista de trabalhos mantida pelos autores: https://github.com/vid-gen/awesome-video-world-model
