A geração de vídeo de longa duração guiada por roteiro esbarra em um problema que prompts e frames recentes não resolvem: voltar a um cenário já filmado ou reencenar um evento anterior sob outro ponto de vista.
Weijie Wang, Haomin Zhang, Ye Li, Akide Liu, Zeyu Zhang, Haoyu Zhao, Yefei He, Donny Y. Chen, Feng Chen e Bohan Zhuang propõem o Any Time, Any Space (ATAS).
É um framework centrado em um estado de mundo persistente. Ele separa memória estática de cena e memória dinâmica de evento.
Só incorpora novas observações ao estado depois de validação.
Os autores relatam ganhos em todas as métricas de consistência entre planos reportadas, em quatro geradores de vídeo distintos.
O que os autores propõem
O ATAS trata a coerência de um filme gerado como um problema de estado, não de contexto textual.
Segundo os autores, o sistema compila um roteiro de alto nível em pedidos de plano que carregam referências explícitas de local, câmera e tempo de evento. Consulta memórias persistentes antes de gerar cada clipe.
Decide, depois de gerar, se aquela observação merece entrar no estado de mundo.
As contribuições declaradas são três. A primeira é um framework centrado em estado de mundo que organiza a geração a partir de memórias persistentes de cena e de evento, permitindo que planos posteriores consultem evidências de observações anteriores "em qualquer espaço e em qualquer tempo".
A segunda são memórias complementares, uma registrada espacialmente e outra indexada por tempo, junto de um mecanismo de atualização controlado por validação.
A terceira é uma bateria experimental contra cinco baselines agênticos em quatro geradores. Nela, o ATAS melhora todas as medidas reportadas de consistência entre planos.
O material do paper está em arXiv.org/abs/2610.20571, com página de projeto em lhmd.top/atas e código em GitHub.com/ziplab/ATAS.
Contexto: qual problema está sendo atacado
Sistemas agênticos de vídeo costumam preservar continuidade passando adiante frames recentes, resumos em texto ou imagens de referência recuperadas.
Os autores argumentam que esses sinais funcionam para planos localmente consecutivos. Mas não organizam as observações passadas em um referencial espacial e temporal compartilhado.
Também não suportam pedidos não locais, como revisitar uma cena vista vários planos antes ou reencenar um evento já ocorrido.
O exemplo do artigo é direto. Uma história mostra um evento em uma sala, corta para outro lugar e depois retorna à sala.
Ou reproduz o evento anterior a partir de outra câmera.
O plano de retorno deveria preservar o layout estabelecido. A reencenação deveria reproduzir as mesmas ações e a mesma progressão temporal sob o novo ponto de vista.
Isso exige que cenas e eventos permaneçam acessíveis apesar dos planos intervenientes.
Manter esse estado introduz dois desafios que os autores destacam. Primeiro, observações passadas precisam ser endereçáveis em espaço e tempo.
Segundo, o estado não pode absorver cegamente conteúdo gerado: erros visuais, geométricos ou temporais de um clipe poderiam se propagar para todos os planos seguintes.
O trabalho dialoga com três frentes. A geração de vídeo em si, com modelos texto-para-vídeo, imagem-para-vídeo e métodos de vídeo longo com co-denoising ou controle por câmera e geometria.
A geração agêntica de vídeo, que adiciona parsing de roteiro, planejamento de planos, seleção de referências e revisão, mas cujo estado entre planos costuma ser um contexto editorial de prompts e imagens.
E a memória explícita, que inclui reconstrução por neural rendering, 3D Gaussian Splatting e síntese de vistas dinâmicas.
A lacuna apontada é que esses métodos oferecem memória geométrica ou assets de mundo, mas não expõem a mesma camada de observação local por plano, o endereçamento por tempo de evento e a decisão de admissão no estado.
Como funciona
O vocabulário é importante. Uma observação-fonte é o frame ou clipe que inicia uma cena; registrá-la estabelece o referencial de coordenadas daquela cena.
A memória de cena guarda a geometria estática aceita nesse referencial. A memória de evento guarda observações dinâmicas com informação de cena, evento e tempo.
O estado de mundo é o par dessas duas memórias em um dado passo.
Cada pedido renderizável contém a descrição local do plano, um identificador de cena, a âncora espacial no referencial da cena, a câmera alvo, o intervalo de tempo pedido e, opcionalmente, um identificador de evento.
O compilador divide o roteiro recursivamente por cena, relações espaciais e temporais, referências de evento e exigências de câmera, até que cada pedido caiba no orçamento de vídeo curto.
Na consulta à memória de cena, o sistema renderiza a nuvem de pontos estática na âncora e na câmera solicitadas, produzindo uma referência de cena para o gerador. A reconstrução só acontece depois da geração, quando o clipe é candidato a atualizar o estado.
A memória de evento é um conjunto de registros com identificador de cena, identificador de evento, observação de origem, intervalo de tempo de origem e evidência dinâmica por frame: RGB-D registrado, máscara e nuvem de pontos dinâmica. Pedidos que se referem a um evento em um intervalo recuperam o contexto diretamente, e o resultado é vazio quando não existe registro compatível.
A geração combina o prompt do plano com esse contexto dependente de estado em uma interface fixa entre todas as comparações.
Depois vêm as checagens. A revisão de filme decide se o clipe é aceito para entrega.
O registro decide se a reconstrução se alinha ao referencial da cena. E a checagem de atualização de estado exige que ambos passem e que o candidato tenha proveniência válida, escopo de cena e versão de estado-pai correta.
A regra explícita é que entrega e admissão são saídas independentes: um clipe pode ir para o filme sem nunca virar evidência para planos futuros.
O mesmo fluxo sustenta duas consultas. Na revisita espacial, o compilador emite a cena anterior com a âncora e a câmera de retorno, e o sistema compara a imagem gerada com a imagem alvo.
Na recaptura histórica de evento, o pedido inclui o identificador e o intervalo do evento, recupera os registros correspondentes e gera a partir da câmera pedida.
Resultados reportados
Os autores avaliam com VBench: estética, consistência de sujeito e fundo, flicker temporal, suavidade de movimento e grau dinâmico.
Também usam ST-Bench: estética, aderência ao prompt global e por plano, e consistência entre planos nas medidas C-All e C-Top10.
E ainda ViStory-Self, com identidade, aparência e consistência temporal dentro da história, e ViStory-Cross, com identidade, aparência e consistência de cena entre planos.
Métodos dentro de cada bloco de backbone compartilham gerador, pacote de prompts, orçamento de duração e protocolo de agregação. As notas por métrica aparecem nas Tabelas A a D do apêndice.
Segundo o paper, em quatro geradores o ATAS melhora todas as medidas de consistência entre planos reportadas e alcança a maior pontuação agregada em cada bloco de backbone.
Na revisita espacial, supera os métodos agênticos e os métodos guiados por 3D comparados nas três métricas, PSNR_C, SSIM_C e LPIPS_C, sob uma máscara de visibilidade comum.
Na recaptura de evento, lidera três dos cinco critérios usados por um juiz VLM com rubrica. A rubrica pontua identidade do evento, ação e estado, ordem temporal, consistência de personagens e objetos, e realização do ponto de vista.
Decisões binárias viram zero ou um, e notas ordinais de um a cinco são normalizadas.
Na avaliação humana, os autores afirmam ter recebido a maior nota média em todos os seis critérios.
Vale registrar o desenho do protocolo de evento: ele é ancorado na fonte e não assume um vídeo-alvo sincronizado, o que evita comparar contra uma verdade de referência que talvez não exista.
Limitações e o que não foi provado
O material disponível para esta análise não inclui a seção de limitações completa dos autores. As checagens abaixo decorrem da descrição do método, não de uma lista oficial.
A memória de evento retém evidência dinâmica frame-local, e não um modelo de movimento com identidade resolvida. Isso é adequado para recapturas curtas, mas deixa em aberto como o sistema se comporta em eventos longos com múltiplos personagens que entram e saem de quadro.
A recaptura também depende de um juiz VLM com rubrica, o que introduz ruído de avaliação que os autores não quantificam no extrato.
A separação entre entrega e admissão é deliberada, mas tem consequência prática. Um plano pode ser aceito no filme e ainda assim não servir como evidência, de modo que revisitas posteriores podem ficar sem base.
A consistência do produto final, portanto, não está garantida em todos os casos. Apenas a integridade do estado é protegida.
As métricas de revisita espacial comparam contra uma imagem alvo sob máscara de visibilidade comum. Isso mede recuperação parcial do espaço observado, não de todo o cenário.
As comparações se limitam aos quatro geradores testados e ao orçamento compartilhado de prompts e duração.
O texto disponível não discute custo computacional de reconstrução, registro e validação por plano, que são etapas adicionais em relação a pipelines que só encadeiam clipes.
Por que isso importa para quem constrói com IA
Para quem monta pipelines de vídeo com agentes, a mensagem central é arquitetural: consistência de longo prazo é um problema de infraestrutura de estado, não de engenharia de prompt. Passar resumos e frames recentes é barato e funciona localmente; endereçar uma cena ou um evento específico exige estrutura explícita.
Três padrões do ATAS são reaproveitáveis fora de vídeo.
O primeiro é separar memória por natureza do conteúdo, com geometria estática de um lado e observações dinâmicas indexadas por tempo do outro, em vez de acumular tudo em um único vetor.
O segundo é o gate de admissão com proveniência, escopo e versionamento, que lembra práticas de curadoria em bases de recuperação: nem tudo que o modelo produz deve virar contexto de amanhã.
O terceiro é a independência entre o artefato entregue ao usuário e o estado aprendido pelo sistema, uma escolha que limita a propagação de erro.
O código aberto e a página de projeto reduzem a barreira para reprodução. Os benchmarks usados, VBench, ST-Bench e ViStory, são amplamente adotados, o que facilita comparação direta.
Para aplicações brasileiras de pré-visualização de roteiro, storyboard automatizado, publicidade seriada ou animação, um estado de mundo consultável é o que transforma geração de clipes isolados em montagem de narrativa.
Referências
- Wang, W.; Zhang, H.; Li, Y.; Liu, A.; Zhang, Z.; Zhao, H.; He, Y.; Chen, D. Y.; Chen, F.; Zhuang, B. Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation. arXiv:2610.20571, cs.CV, 2026. Disponível em arXiv.org/abs/2610.20571.
- Página do projeto: lhmd.top/atas.
- Código: GitHub.com/ziplab/ATAS.
