Um grupo de mais de trinta pesquisadores, encabeçado por Jintao Zhang, apresentou o Vidu S2. É uma família de dois modelos que operam em tempo real.
O Vidu S2-Avatar serve para personagens digitais interativos. O Vidu S2-Editing serve para edição de vídeo em fluxo contínuo.
Segundo os autores, o Avatar gera 720p entre 25 e 42 FPS. Aceita referências trocadas no meio da transmissão e segue instruções de movimento amplo, como dança.
O Vidu S2-Editing aplica estilo, troca de roupa, substituição de personagem e troca de fundo em vídeo que já está sendo transmitido.
Eles também exploram a conversão dessas saídas em vídeo espacial estéreo para headsets de VR (página do projeto).
O que os autores propõem
O paper, disponível no arXiv, descreve cinco contribuições.
A primeira é o Vidu S2-Avatar. Segundo os autores, ele eleva a geração interativa de 540p (limite do Vidu S1) para 720p, mantendo a faixa de 25 a 42 FPS.
Tem referências dinâmicas atualizáveis a qualquer momento e maior aderência a instruções que envolvem corpo inteiro.
A segunda é o Vidu S2-Editing, que edita o stream na chegada dos frames em vez de reprocessar um vídeo já fechado.
A terceira contribuição é a exploração de geração e edição espacial em tempo real. O sistema converte um stream monocular gerado ou editado em vistas esquerda e direita sincronizadas.
Ou edita diretamente vídeo estéreo de entrada e separa a saída novamente nos dois olhos.
A quarta é uma pilha de inferência e serving. Ela combina SageAttention, SpargeAttention, Sparse-Linear Attention, GEMM de baixa precisão, fusão de kernels e paralelismo multi-GPU.
Nessa pilha, encoder VAE, backbone, Refiner e decoder VAE compartilham GPUs ao longo de uma mesma linha de tempo.
A quinta é o resultado experimental. Os autores afirmam que o Vidu S2 supera todas as baselines testadas cumprindo os requisitos de tempo real.
Contexto: qual problema está sendo atacado
Os autores situam o trabalho contra o paradigma offline de modelos como Sora, Veo, Wan e Seedance. Nesse paradigma, o usuário escreve um prompt, espera minutos e recebe um vídeo completo.
Durante a geração não há interação.
Esse comportamento, argumentam, é consequência do paradigma de difusão offline. Ele desruidifica o vídeo inteiro em sincronia e só entrega algo no final.
O contraponto é o consumo interativo: conversa frente a frente, lives, jogos, bate-papo.
O paper faz um argumento de escala de demanda. Se cada usuário tem uma demanda média por conteúdo visual interativo, o total cresce com o número de usuários.
Já o vídeo gerado offline pode ser replicado e recompartilhado, então a demanda de geração cresce com o número de usuários multiplicado pelas visualizações por vídeo.
Sob as premissas que os autores adotam, a demanda interativa seria muito maior. É um argumento econômico plausível, mas construído sobre suposições, não sobre medições.
O Vidu S1, trabalho anterior do mesmo grupo, já entregava 540p a até 42 FPS em GPUs de consumo usando TurboDiffusion e TurboServe.
Suas limitações declaradas: foco quase exclusivo em cabeças falantes, referência do personagem fixada no início do stream, dificuldade com movimento corporal amplo e ausência de edição do vídeo de entrada. É esse conjunto de lacunas que o S2 ataca.
Como funciona
Do lado do Avatar, o componente técnico central é o Self-Replay Forcing (SRF). Em geração segmento a segmento, erros se propagam e degradam o vídeo.
O Self-Forcing condiciona cada segmento a trechos gerados pelo próprio modelo, o que aproxima treino e inferência. Mas entrega o histórico autoconsumido limpo, sem ruído, e desconectado do grafo de computação, impedindo gradiente.
O SRF proposto pelos autores executa primeiro um rollout autorregressivo longo do aluno. Em seguida, pega a trajetória inteira gerada pelo aluno, re-ruidifica todos os seus segmentos de forma independente seguindo o Diffusion Forcing e reproduz a trajetória completa em um único passo causal com gradiente habilitado.
O rollout original e seus caches KV ficam desacoplados, então o gradiente não retropropaga por ele. Mas os segmentos reproduzidos permanecem conectados entre si, permitindo que a perda de um segmento posterior alcance segmentos anteriores.
Para chegar a 720p sem perder velocidade, um Refiner leve adiciona um único passo de upscaling. O backbone roda em resolução baixa.
Os dados de treino passam por seleção por clareza medida, não por resolução nominal. Os autores observam que material muito comprimido parece borrado mesmo em 1080p.
A coleta inclui vídeos solo de dança e animação 2D/3D. O clipping usa um modelo de visão-linguagem como segunda etapa de avaliação para reduzir falsos positivos em cortes sutis.
A filtragem mantém as seis dimensões do S1 mais um operador de estabilização de fundo. Esse operador mascara o sujeito, estima transformações de câmera no fundo restante e corrige geometricamente o vídeo, preservando movimento de câmera suave em vez de descartá-lo.
A legendagem passa a usar descrições densas ordenadas temporalmente, em duas granularidades: clipe inteiro e trecho. O treino inclui aprendizado por reforço a partir de preferência humana para naturalidade de movimento e aderência a instruções.
Um sistema agêntico baseado em VLM torna a geração condicionada por referência mais confiável.
No Edição, o desenho decisivo é atenção alinhada por frame. Cada frame alvo lê apenas o frame de origem do mesmo instante, garantindo que o vídeo editado preserve exatamente o movimento e o timing da entrada.
A imagem de referência permanece visível a todos os frames para que a nova aparência se mantenha. Cada frame de origem é consumido junto com o frame alvo que produz e não fica no cache.
Resultados reportados
O material disponível afirma duas coisas verificáveis em texto: o Vidu S2 supera todas as baselines e cumpre integralmente os requisitos de inferência em tempo real. O Avatar vai de 540p (S1) para 720p, mantendo 25 a 42 FPS.
O artigo diz que todos os testes comparativos foram feitos, mas o extrato analisado não traz a tabela de benchmarks, as métricas usadas nem os valores numéricos de comparação. A partir deste material, não é possível avaliar a margem de superioridade nem os protocolos de avaliação.
Limitações e o que não foi provado
O extrato disponível não inclui uma seção explícita de limitações.
O que dá para apontar com segurança: o argumento de demanda é uma construção analítica com premissas assumidas, não um resultado empírico.
A geração espacial é apresentada como exploração de viabilidade, não como produto validado em headsets. Não há latência por frame, consumo de VRAM, taxa de atualização efetiva no display nem avaliação de conforto em VR.
Não há dados sobre quantos frames de histórico o SRF consegue manter estáveis antes de deriva, nem sobre custo de treino adicional do replay com gradiente.
A seleção por clareza, o operador de estabilização de fundo e o sistema agêntico de referência são descritos qualitativamente, sem ablação no material fornecido. Também não há informação de venue ou revisão por pares; trata-se de preprint.
Por que isso importa para quem constrói com IA
Se os números se sustentarem, o eixo de competição em vídeo generativo deixa de ser apenas qualidade de um clipe de dez segundos. Passa a ser latência sustentada, estabilidade de longo prazo e capacidade de intervenção no meio do processo.
Isso muda a arquitetura de produto. Um avatar 720p a 25–42 FPS em GPU de custo baixo torna viável atendimento, educação e entretenimento com personagem que reage em tempo real.
Um editor de stream abre caminho para moderação, try-on e reestilização aplicados ao vivo.
A atenção alinhada por frame é uma ideia reaproveitável. Acoplar entrada e saída no mesmo instante é o que permite editar sem quebrar movimento, princípio útil em qualquer pipeline de vídeo para vídeo.
Para times brasileiros, os pontos práticos de avaliação são outros: latência real em hardware disponível, custo por minuto de stream, comportamento do modelo em português falado e a ausência, até aqui, de números públicos de benchmark. O demo jogável está em vidu.com/vidu-stream, e o texto completo no arXiv.
Referências
- ZHANG, Jintao et al. Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation. arXiv:2609.11638, 2026. Disponível em: https://arxiv.org/abs/2609.11638
- Página do projeto Vidu Stream: https://www.vidu.com/vidu-stream
- Trabalhos citados pelos autores como base: Vidu S1, TurboDiffusion, TurboServe, Self-Forcing, Diffusion Forcing, Sora, Veo, Wan e Seedance.
