A equipe do StreamEval apresenta um benchmark unificado para vídeo generativo interativo em streaming. Avalia 37 modelos em 300 casos de teste roteirizados.
O achado central, segundo os autores, é que qualidade visual alta e retenção de identidade não caminham necessariamente junto com execução confiável de pedidos.
O mesmo vale para consistência de estado ao longo da sessão. As pontuações de "Following" e "Edit Success" ficam em faixas baixas mesmo nos melhores sistemas.
Isso desloca o gargalo da estética para o cumprimento de instruções sob restrições de tempo e preservação de conteúdo.
O que os autores propõem
O artigo descreve o StreamEval como um benchmark unificado para geração de vídeo interativa em streaming. Cobre cinco tarefas: diálogo com avatar (avatar dialogue), performance de avatar (avatar performance), geração de mundo (world generation), edição por instrução (instruction editing) e edição por referência (reference editing).
Cada caso de teste empacota ativos iniciais (retrato, cena ou vídeo-fonte), uma sequência de requisições multimodais que chegam incrementalmente e critérios explícitos. Os critérios dizem o que o sistema deve alterar e o que deve preservar.
A avaliação é organizada em quatro dimensões complementares: execução da tarefa, consistência de estado, fidelidade visual e coordenação audiovisual. Essas dimensões são instanciadas em dez métricas específicas por tarefa, todas em escala de 0 a 100.
O benchmark é acompanhado de um leaderboard público em streameval.ai. Todos os casos, incluindo linhas do tempo, oráculos e mídias, serão liberados juntos, segundo os autores.
A contribuição declarada é tripla: um benchmark interativo unificado com cinco tarefas e 300 casos roteirizados; uma avaliação multidimensional com dez métricas sob um protocolo de sessão compartilhado; e um estudo cruzado de 37 modelos.
Na leitura dos autores, esse estudo revela limitações de seguimento de instruções em performance de avatar e geração de mundo. Aponta também baixa completude de edição em edição por referência.
O paper está disponível no arXiv.
Contexto: qual problema está sendo atacado
Sistemas que geram vídeo de forma incremental aceitam novas entradas do usuário enquanto a sessão está em andamento. Isso habilita avatares conversacionais, mundos virtuais controláveis e edição de vídeo ao vivo.
Esses cenários exigem mais do que quadros ou clipes plausíveis. Geração e controle responsivo precisam permanecer alinhados às entradas que chegam, à medida que pedidos e contexto evoluem no tempo.
Cada requisição carrega requisitos de tempo e de escopo: quando a mudança deve ocorrer, o que ela deve modificar e o que precisa permanecer intacto. Um avatar conversacional deve responder em contexto sem perder identidade ou histórico de diálogo.
Um mundo gerado deve acomodar novos controles sem perturbar o conteúdo não afetado. Um editor deve aplicar, atualizar ou remover edições acompanhando um fluxo de origem que avança.
Os autores argumentam que os benchmarks existentes cobrem aspectos complementares, mas fragmentados. VBench e EvalCrafter avaliam qualidade visual e comportamento temporal.
T2V-CompBench examina alinhamento composicional. WBench e WBench-Editing avaliam controle multi-turno, edições sucessivas e preservação de conteúdo em mundos gerados.
StreamAV-Bench trata de atualizações interativas e retenção de estado em geração áudio-vídeo em streaming. LongV2VBench olha a qualidade de edição em fluxos de origem sustentados.
VideoFDB avalia agentes conversacionais full-duplex por meio de pistas audiovisuais não verbais.
A lacuna que os autores identificam é a ausência de um quadro único. Esse quadro reuniria interação com avatares, geração de mundo e edição em tempo real, com critérios explícitos de execução e preservação por tarefa.
Como funciona
A construção do benchmark parte de sessões roteirizadas. O Qwen3.8-Max rascunha objetivos de sessão, controles com marcação temporal, atributos protegidos e resultados esperados.
Um oráculo escrito à mão especifica o que estabelecer, reter, cancelar ou restaurar em cada checkpoint. Um agendador libera as entradas incrementalmente e faz avançar as fontes de edição no relógio da sessão.
Os ativos também são sintéticos ou licenciados conforme a tarefa. GPT-Image-2 e Qwen-Image sintetizam retratos e referências visuais, com adultos sintéticos originais ou personagens ficcionais estilizados.
Qwen3.5-Omni gera fala expressiva de usuário e fala prescrita.
As fontes de edição ao vivo usam vídeos contínuos licenciados, incluindo footage real, animação e cenas geradas. A origem é Wikimedia Commons, NASA e Blender Studio, sem loop, mudança de velocidade ou concatenação.
A carga de interação é relevante. Cada tarefa tem 60 casos, balanceados entre 15, 30, 60, 120 e 300 segundos, com 12 casos por faixa de duração.
No total, são 300 casos, 240 famílias de fonte independentes e 60 derivados de diálogo em texto que reutilizam famílias existentes.
Os 300 casos somam 1.347 eventos online planejados. Representam 525 minutos de geração em streaming por passagem completa, excluindo setup e caudas de resposta.
Há ainda verificação de qualidade. Checagens automatizadas validam decodificação, duração, identidade de arquivo e concordância entre eventos, oportunidades e requisitos de pontuação.
O Qwen3-ASR transcreve a fala sintetizada exigindo taxa de erro de palavra normalizada de no máximo 0,25. O Qwen3.8-Max audita imagens em busca de clareza do sujeito e defeitos anatômicos.
Os juízes automáticos são calibrados com sondas positivas e negativas. Os critérios são de no máximo 5% de falsos positivos, 10% de falsos negativos e 10% de decisões não resolvidas por classe.
Resultados reportados
Os autores avaliam 37 modelos distintos em 47 configurações de tarefa, com três execuções independentes por caso e modelo. O Vidu S2 Avatar obtém a maior pontuação de Dialogue em diálogo digital-humano e lidera performance de avatar pelo Overall.
O MemFlow lidera geração de mundo. O Vidu S2 Editing lidera tanto edição por instrução quanto edição por referência.
Métricas individuais mostram forças complementares. O LiveTalk obtém a maior pontuação de Quality em performance de avatar.
O JoyAI-Video-Edit obtém a maior de Preservation em edição por instrução.
O dado mais duro está na execução de pedidos. Entre sete modelos de performance de avatar avaliados, a maior pontuação de Following é 36,90.
Em geração de mundo condicionada por texto, é 25,93. Em edição por referência, entre os três modelos reportados, o Edit Success máximo é 15,00.
Para os autores, isso identifica a execução confiável de requisições sob restrições de tempo e preservação como o desafio central. O alvo são sistemas interativos onimodais em tempo real.
Como referência de escala, os autores comparam: o WBench avalia 20 modelos, o WorldMark 10 e o StreamAV-Bench 13 sistemas em seus domínios. Em horizontes, os casos de edição de 300 segundos representam uma expansão de cinco vezes sobre o LongV2VBench (60 s).
Os casos de geração de mundo vão além dos rollouts de 180 segundos do StreamAV-Bench.
Sequências de avatar mais longas já aparecem no GenBench. A contribuição aqui é a cobertura balanceada entre tarefas e durações.
Limitações e o que não foi provado
O desenho é de sessões roteirizadas, com oráculos autorais e limites de 15 a 300 segundos. Isso dá comparabilidade, mas não prova generalização para interações abertas, sessões muito mais longas ou usuários reais.
Os próprios autores reconhecem que o foco em fala autoral e performance prescrita não cobre a percepção de vídeo do usuário. Esse requisito é tratado pelo VideoFDB.
A cobertura mais ampla de tarefas não implica cobrir esse aspecto.
A avaliação depende de juízes automáticos calibrados por metas de erro, não de julgamento humano massivo conforme o extrato disponível. A comparação entre tarefas também não é direta: cada tarefa tem perfil de métricas próprio.
O Overall agrega com pesos iguais entre faixas de duração. É uma decisão metodológica que favorece sessões curtas e longas na mesma proporção.
O número de modelos em algumas trilhas é pequeno, com três modelos reportados em edição por referência, o que limita conclusões sobre o estado da arte da categoria.
Os resultados são de modelos acessados por rotas de entrada e adaptadores específicos. Diferenças de integração podem influenciar pontuações tanto quanto diferenças de capacidade do modelo.
Por que isso importa para quem constrói com IA
Para equipes que montam produtos com vídeo generativo, o custo de engenharia está menos na estética do quadro e mais na máquina de estados. É preciso interpretar requisições que chegam fora de ordem, decidir quando aplicá-las, manter o que não foi alvo da edição e restaurar o estado original quando o pedido é removido.
Arquiteturas de agentes que tratam cada requisição como um comando isolado tendem a falhar exatamente nas métricas de consistência de estado e preservação.
O benchmark também oferece vocabulário útil para contratos e SLAs internos. Separar execução de tarefa, consistência, fidelidade visual e coordenação audiovisual evita a armadilha de aprovar um sistema por demos bonitas.
Os melhores números de Following ficam na casa dos 20 a 37 pontos. Isso sugere que pipelines de avaliação próprios devem incluir casos com pedidos incrementais e alvos protegidos, não apenas prompts únicos.
Para pesquisa, o recado é que sistemas onimodais em tempo real precisam ser medidos em sessão, não em clipe.
Referências
- StreamEval Team. StreamEval: Evaluating Interactive Streaming Video Generation Models. arXiv:2610.28402, cs.CV, 2026. Disponível em: arXiv.org/abs/2610.28402.
- Página do projeto e leaderboard: streameval.ai.
- Benchmarks citados pelos autores para comparação: VBench, EvalCrafter, T2V-CompBench, WBench, WBench-Editing, StreamAV-Bench, LongV2VBench, VideoFDB, EditVerseBench e GenBench.
