Pesquisadores ligados ao desenvolvimento do Vidu propõem o APEX. É uma extensão da destilação por correspondência de distribuições (DMD) para geração de vídeo em streaming.
O método dispensa a rede auxiliar de "fake score".
A ideia central é fazer o próprio gerador estimar a distribuição que ele produz. Basta trocar a condição de texto por sua versão negada.
Segundo os autores, o método mantém o professor congelado do S2-Avatar e o Self-Replay Forcing. Melhora o cumprimento de instruções e a estética visual em relação ao S2-Avatar.
Reduz memória de pico e tempo médio de iteração frente ao DMD. Há trocas mensuráveis em qualidade de movimento e sincronização audiovisual.
O que os autores propõem
Deyuan Liu, Jungang Li, Kaiwen Zheng e colegas apresentam três contribuições declaradas. A primeira é a estimativa compartilhada em rede: aprender o campo de velocidade da distribuição gerada dentro do próprio gerador, via mudança de condição.
Mantém-se um professor de referência congelado e remove-se a rede falsa independente.
A segunda é a integração desse mecanismo ao Self-Replay Forcing (SRF) do S2-Avatar. O procedimento de replay e a regularização perceptual são preservados.
A terceira é a avaliação de qualidade e eficiência. Usa vídeos de 180 segundos em 70 casos pareados e nos 320 cenários do StreamAV-Bench.
Também compara custo de treino e de amostragem.
O trabalho dialoga com o TwinFlow (Cheng et al., 2026), que aprende as duas velocidades em um único modelo. Usa tempo positivo para a trajetória real e negativo para a falsa.
Dialoga também com o APEX original (Liu et al., 2026c), que seleciona o estimador pela entrada de condição.
A novidade aqui é transportar essa ideia para o regime de streaming. Nesse regime, o estimador precisa acompanhar saídas geradas com histórico causal.
Contexto: qual problema está sendo atacado
Modelos de difusão e de flow matching geram vídeo de alta qualidade ao custo de repetidas avaliações da rede. Em geração streaming, esse custo é pago a cada novo bloco.
Isso torna a amostragem em poucos passos particularmente valiosa para sequências longas.
A destilação resolve parte do problema. Mas o gerador resultante precisa preservar qualidade visual, manter personagens e cenários e responder a instruções que mudam ao longo do vídeo.
O DMD supervisiona as amostras geradas pela diferença entre os escores da distribuição de referência e da distribuição gerada. Um professor pré-treinado congelado fornece a estimativa de referência.
Uma rede separada de fake score aprende com as saídas atuais do gerador.
Em backbones de vídeo grandes, manter essa rede auxiliar adiciona memória e computação de treino. Sua estimativa precisa acompanhar o gerador conforme a distribuição muda.
Isso exige coordenar configurações de otimização e atualizações dos dois modelos. É esse acoplamento que os autores atacam.
Como funciona
O ponto de partida é o flow matching com caminho de interpolação linear do transporte ótimo. O modelo aprende um campo de velocidade que transporta ruído gaussiano até os dados.
Na inferência, esse campo é integrado por um solver de ODE, como o Euler de primeira ordem. No regime de poucos passos, usa-se o mapa de Euler de um passo, sem entrada de tempo de destino no preditor de velocidade.
O DMD estima o gradiente da KL reversa pela diferença de escores na mesma amostra ruidosa gerada. Sob o caminho do transporte ótimo, essa diferença se expressa por velocidades marginais.
O APEX substitui a rede falsa por uma segunda chamada ao próprio gerador, selecionada pela condição. O texto projetado é negado antes dos blocos do transformer, mantendo tempos de difusão positivos nas duas chamadas.
A condição original seleciona a geração; a condição deslocada seleciona a estimativa falsa, com parâmetros compartilhados.
No streaming, os blocos avaliados incluem as saídas de replay e qualquer prefixo destacado. Esses blocos são desanexados e re-ruidosos em um tempo de scoring sorteado, com ruído gaussiano novo.
Um único tempo de scoring é usado para todos os blocos gerados de uma sequência, separado dos tempos de replay. A rede com condição deslocada prevê a velocidade falsa a partir dos latentes re-ruidosos, com atenção causal sobre blocos atuais e anteriores.
A atualização se restringe a essa predição por uma perda de flow matching com a ponderação de vídeo do S2.
A correção do gerador vem da diferença entre as previsões de latente limpo do professor congelado e do estimador falso, no mesmo vídeo ruidoso e tempo de scoring. Essa diferença é proporcional à diferença de velocidades.
É normalizada como no S2 e somada à saída atual, produzindo um alvo de regressão destacado para as predições de replay.
Os autores mantêm o alvo fixo, incluindo predições e normalização. Assim, os gradientes passam pelas saídas de replay e pelas representações causais conectadas dentro do segmento ativo.
As atualizações do gerador alternam com as da estimativa falsa nos parâmetros compartilhados, mantendo o professor congelado. Por padrão, os estados do AdamW também são compartilhados.
Na inferência, o texto original seleciona a geração com o cronograma de poucos passos, seguida do Refiner espacial de um passo.
Resultados reportados
A avaliação usa vídeos de 180 segundos, 3 avaliações de função por bloco no backbone (NFE) e o Refiner espacial contabilizado separadamente. No StreamAV-Bench, com 160 cenários Progressive e 160 Interactive, o APEX fica em primeiro lugar em estética visual (VA), VIF e AIF.
Fica em segundo em qualidade visual (VQ), entre 12 modelos com resultados disponíveis.
O VIF na trilha Progressive vai a 3,856 contra 3,831 do S2-Avatar. A estética visual vai a 0,641898 contra 0,632606.
As melhorias de instrução aparecem nas duas trilhas, com VIF e AIF subindo 0,025 e 0,067 na Progressive. Há, porém, um padrão assimétrico: VQ sobe na Progressive mas cai na Interactive, e a consistência de fundo (BC) apresenta o padrão inverso.
Qualidade de áudio (AQ), alinhamento audiovisual (AVAlign) e consistência de sujeito (SC) caem nas duas trilhas. A qualidade perceptual (PQ) fica praticamente estável.
O erro de sincronização (AVSync) sobe de 1,319 para 1,341 segundo.
No estudo humano com 70 pares de sequências image-to-video, avaliadores com formação em arte ou estética favorecem o APEX sobretudo em seguir instruções. São 22 vitórias, 47 empates e 1 derrota, o que dá +30,0% de preferência líquida, com MOS de 4,17 contra 3,99.
Consistência e qualidade de vídeo rendem +4,3% cada, correspondendo a três vitórias líquidas. Sincronização audiovisual empata em 69 dos 70 pares, com uma derrota (−1,4%) e MOS de 4,23 contra 4,26.
Qualidade de movimento favorece o S2-Avatar. Ambos atendem ao critério de usabilidade em 62 dos 70 casos.
Em medição separada, sob configurações de treino pareadas, a memória de pico alocada por GPU cai de 102,7 para 98,2 GiB (4,5 GiB, ou 4,4%). O tempo médio de iteração cai de 35,9 para 32,6 segundos (3,3 s, ou 9,2%), ainda com o professor congelado.
A preferência por instrução segue positiva com 2 NFE no backbone.
Limitações e o que não foi provado
Os ganhos são reais, mas pequenos em termos absolutos. São 0,025 ponto de VIF e 0,009 de estética visual, deslocamentos modestos.
O estudo humano é dominado por empates: 47 de 70 na dimensão mais favorável. A preferência líquida de +30,0% é produzida por um punhado de casos decisivos.
O material disponível não reporta intervalos de confiança nem variância entre execuções.
Também há custos claros. A qualidade de movimento piora na avaliação humana.
A sincronização audiovisual acumula erro maior. AQ, AVAlign e SC caem nas duas trilhas do benchmark.
Para produtos de avatar e talking head, esses são justamente os eixos menos negociáveis. O padrão cruzado de VQ e BC entre as trilhas Progressive e Interactive sugere sensibilidade ao tipo de prompt que o paper não explica em profundidade.
Do ponto de vista de generalização, toda a evidência vem de um único backbone e de um único pipeline de dados, o do S2-Avatar, com vídeos de 180 segundos e 3 NFE. Não há demonstração de que o mecanismo funcione em outras arquiteturas causais ou em resoluções e durações diferentes.
O compartilhamento de estados do AdamW entre gerador e estimador é o padrão. Estados separados aparecem apenas como avaliação adicional, e o risco de interferência entre os dois objetivos não é quantificado.
A justificativa teórica depende de campos calibrados sob condicionamento comum. É a de que as estimativas de velocidade induzem escores que podem ser interpretados como escores condicionais verdadeiros.
Ela é derivada em apêndice, sem validação empírica direta.
A comparação de custo é uma medição isolada sob treino pareado, não o tempo total de uma execução completa. Não há números de latência de amostragem no material disponível.
O paper também não informa venue ou status de revisão por pares.
Por que isso importa para quem constrói com IA
Para quem opera geração de vídeo em produção, o custo por bloco é o que define a viabilidade de streaming longo. Rodar em 2 ou 3 NFE com um Refiner de um passo é o que separa um avatar de livestream viável de um experimento caro.
O APEX mostra que é possível eliminar uma rede auxiliar inteira do pipeline de treino reaproveitando o próprio gerador como estimador. Isso simplifica a infraestrutura e reduz a memória de pico por GPU: 4,5 GiB por GPU, num momento em que memória é o recurso mais escasso.
O recado prático, porém, é de cautela. O ganho em controle (seguir instruções) vem acompanhado de perdas em movimento e sincronização.
Times que constroem produtos com fala e gesto precisam pesar esses eixos antes de migrar.
Vale também observar a metodologia de avaliação. O StreamAV-Bench, com trilhas Progressive e Interactive separadas, é uma ferramenta útil para medir geração streaming de forma mais honesta do que benchmarks de clipe curto.
O desenho de 70 pares com avaliação humana especializada é um padrão que outros grupos podem replicar.
A receita geral tende a transbordar do vídeo para imagem e áudio. É reutilizar o gerador como seu próprio estimador via condição.
É aí que o trabalho deve ser acompanhado.
Referências
- LIU, Deyuan; LI, Jungang; ZHENG, Kaiwen; JIANG, Kai; CHEN, Jintao; WANG, Yaole; LIN, Ming; LIN, Tao; CHEN, Jianfei; ZHU, Jun; ZHANG, Jintao. Few-Step Streaming Video Generation via Condition Shifting. arXiv:2611.14033, 2026. Disponível em arXiv.org/abs/2611.14033.
- Página do projeto Vidu Stream Avatar, com exemplos em vídeo: vidu.com/vidu-stream/avatar.
