Pesquisadores ligados a Zhijie Deng, na Shanghai Jiao Tong University, propõem o Wave Forcing (WF). É um arranjo que coordena geração, treinamento e execução para modelos de difusão de vídeo.
A Meta é produzir streaming contínuo emitindo um chunk por rodada concorrente de forward. Os autores chamam isso de 1F1C.
A ideia central é escalonar os estágios de denoising de chunks vizinhos como uma frente de onda. Cada estágio é distribuído em uma réplica inteira do modelo.
Todas as atualizações de denoising são mantidas, em vez de colapsadas em um único passo.
Segundo o paper, o resultado em Wan2.1-T2V-1.3B chega a 147,6 FPS no DiT. Ponta a ponta, são 134,8 FPS em oito GPUs H200.
O que os autores propõem
O trabalho é assinado por Yijie Jin, Yuxuan Liu, Jiajun Xu, Ye Huang, Chuzhi Wang, Jiayang Li, Ruiyang Chen, Chenling Hong, Xu Wang e Zhijie Deng. O paper trata a geração de vídeo longo em tempo real como um problema de projeto conjunto, não de otimização isolada de kernel.
São três peças. Uma formulação de geração causal em frente de onda.
Uma receita de treinamento em três estágios que adapta o modelo a esse regime de inferência. E um runtime, o Wave Runtime (WaveRT), que implementa o Wave Parallelism (WP).
A tese é que a serialização entre denoising e atualização de cache é o gargalo estrutural dos métodos chunk-wise autoregressive atuais. Atacá-la exige mudar o grafo de dependências do modelo, não apenas acelerar matmuls.
O material completo está no paper no arXiv. Vídeos e detalhes adicionais estão na página do projeto.
Contexto: qual problema está sendo atacado
Métodos como Self Forcing e Causal Forcing geram vídeo chunk por chunk, condicionando cada bloco ao conteúdo anterior. O paper adota a convenção de cache de histórico limpo.
Sob essa convenção, além do forward de denoising é necessário um forward extra, chamado de store, para atualizar o histórico de chaves e valores (K/V) a partir do resultado limpo.
Em execução sequencial, denoising e store se intercalam entre saídas consecutivas. Isso produz o que os autores denotam NF1C: N rodadas de forward para um chunk de saída.
Mesmo com denoising de um único passo, são dois forwards por chunk.
O custo não é só de throughput. Rollouts mais longos tendem a degradar qualidade, com deriva de câmera e perda de sujeito.
Métodos que refinam em direção reversa, como o Rolling Forcing (RF), dependem de chunks mais ruidosos. Isso cria arestas de dependência na direção "futura" e limita qualquer sobreposição de execução.
O alvo declarado do WF é 1F1C: um chunk completo por rodada concorrente de forward após o enchimento do pipeline, sem descartar nenhuma etapa de denoising.
Como funciona
A peça algorítmica é uma máscara de atenção causal por chunk. Dentro de cada chunk há atenção completa.
Entre chunks, o slot de consulta só enxerga K/V de si mesmo e de predecessores mais limpos.
O contexto ordenado em cada camada do Transformer concatena quatro partes. Um anchor do chunk inicial, um histórico limpo de tamanho limitado, o store ao vivo e os K/V em denoising.
Como chunks mais novos nunca são lidos por chunks mais velhos, a máscara é triangular inferior e não há aresta reversa. Isso remove a dependência do RF em relação a chunks mais ruidosos.
Com essa direção de leitura garantida, chunks anteriores podem executar estágios posteriores de denoising enquanto chunks mais novos executam os primeiros. Cada estágio de denoising e o estágio de store recebem uma réplica inteira do modelo.
Forma-se um pipeline de largura limitada.
A largura é ditada pelo número de passos de denoising. Na prática, o método consome GPUs proporcionais ao schedule de amostragem.
Treinar para esse grafo de implantação é o segundo pilar. A máscara causal altera o condicionamento aprendido pelo RF, e os autores adaptam o Wan2.1-T2V-1.3B em três estágios.
O primeiro é uma inicialização com ruído misto. Eles adotam o esquema de denoising conjunto do RF, com atenção bidirecional entre chunks em níveis de ruído diferentes.
Sorteiam rollouts do RF ou do Self Forcing com igual probabilidade e treinam com destilação por correspondência de distribuição (DMD).
O segundo é um DMD off-policy. Chunks consecutivos do professor são re-ruidos em timesteps escalonados, com chunks anteriores do professor servindo de histórico K/V limpo.
A supervisão combina o objetivo DMD e LPIPS sobre frames RGB decodificados de latentes reduzidos.
O terceiro estágio faz adaptação causal com histórico auto-gerado. A cada iteração, sorteia um rollout gerado pelo próprio modelo entre RF, WF e SF.
Apenas o WF é implantado.
O terceiro pilar é o WaveRT. Cada estágio de denoising e o store possuem uma réplica de modelo em GPU própria, e os ranks trocam K/V entre rodadas.
A observação-chave é que ranks mais limpos leem menos chaves, porque seu contexto é menor. Por isso conseguem publicar K/V antes.
O runtime publica K/V logo após a projeção QKV e o RoPE. Verifica prontidão imediatamente antes da atenção, com entrega paginada que escreve direto nos slots ordenados da atenção.
Isso evita concatenação remota. Há ainda otimização local com SageAttention e quantização W8A8 de pesos e ativações, e decodificação VAE em pipeline com partições balanceadas por perfil.
Resultados reportados
Nos benchmarks de qualidade, o WF de 5 passos é comparado ao Rolling Forcing de 5 passos. O VBench Total fica em 81,64 contra 81,15.
O VBench-Long Quality fica em 81,26 contra 81,18.
A diferença maior aparece em movimento. O Dynamic Degree sobe de 51,39 para 94,44 em vídeos curtos.
Em vídeos de 100 segundos, vai de 36,63 para 91,45. Os autores também reportam melhor preservação de sujeito (97,10 contra 92,75), com deriva de câmera baixa (0,37 contra 0,17).
Nessa métrica específica, o resultado é levemente pior.
Em eficiência, o WF de 4 passos com backend BF16/FA3 atinge 147,6 FPS no DiT. Ponta a ponta, são 134,8 FPS em oito H200.
Isso representa 7,07x o throughput ponta a ponta de uma única GPU, cuja linha de base é de 19,06 FPS.
Em testes apenas de DiT, com backends SageAttention+W8A8, passos de denoising e contagem de GPUs equalizados, o WP entrega até 2,53x o throughput do mais rápido entre os baselines de paralelismo de contexto Ulysses e Ring. São seis escalas de modelo entre 1,3B e 14B. O WP vence em cinco escalas com BF16 e em todas as seis com Sage+W8A8.
Limitações e o que não foi provado
Os experimentos de qualidade usam um único modelo, o Wan2.1-T2V-1.3B. A configuração tem três frames latentes por chunk, resolução e 16 FPS, com seed fixa em 42.
Não há avaliação humana reportada no material disponível.
As métricas de estabilidade de vídeo longo, preservação de sujeito e deriva de câmera, são definidas pelos próprios autores. Os prompts vêm de um subconjunto fixo de 200 prompts do MovieGen.
No lado de sistemas, o ganho depende de ocupar várias GPUs por requisição. A largura do pipeline é o número de passos de denoising mais o store.
O fan-out lógico de K/V cresce quadraticamente com o número de estágios, o que os próprios autores quantificam em apêndice.
Há latência de enchimento até a primeira saída decodificada. O texto admite que a sobrecarga do caminho de saída continua visível mesmo com o pipeline VAE de três estágios.
A Meta de "velocidade da luz" do título é aspiração, não medição: o que se demonstra é um regime de 1F1C após o fill. Os ganhos de paralelismo são medidos contra Ulysses e Ring em testes isolados de DiT, não contra todos os esquemas de serving disponíveis.
Por que isso importa para quem constrói com IA
Para quem opera modelos de vídeo, o paper desloca a conversa de "quantos passos de denoising conseguimos cortar" para "como distribuir os passos que restam". A ideia de que o schedule de amostragem pode ser materializado como topologia de réplicas é reutilizável.
Se um modelo aceita ler apenas contexto mais limpo, ele aceita ser fatiado em estágios e executado como pipeline.
Isso muda o cálculo de custo por segundo de vídeo. Explica também por que métodos de forcing precisam de co-design de treino.
Uma máscara causal nova invalida o condicionamento aprendido, e os três estágios de Yijie Jin e coautores são um procedimento para realinhar o modelo ao grafo em que ele vai rodar.
O outro recado é sobre a qualidade do movimento. O salto de Dynamic Degree de cerca de 51 para 94 sugere que parte da letargia típica de modelos autoregressivos de vídeo vem do condicionamento em histórico já totalmente limpo, não de limitação de capacidade.
Se isso se confirmar em outros modelos, é um argumento forte contra pipelines que esperam o chunk anterior terminar antes de começar o próximo.
Referências
- Wave Forcing: Towards Speed-of-Light Streaming Video Generation — Yijie Jin, Yuxuan Liu, Jiajun Xu, Ye Huang, Chuzhi Wang, Jiayang Li, Ruiyang Chen, Chenling Hong, Xu Wang, Zhijie Deng. arXiv:2611.00859. https://arxiv.org/abs/2611.00859
- Página do projeto Wave Forcing (SJTU Deng Lab): https://sjtu-deng-lab.github.io/WaveForcing/
- Baselines e modelos citados pelos autores: Self Forcing (Huang et al.), Causal Forcing (Zhu et al.), Rolling Forcing (Liu et al.), Wan2.1-T2V-1.3B (Wan et al.), VBench e VBench-Long (Huang et al.), MovieGen (Polyak et al.).
