Em vídeo em streaming, a qualidade de um assistente depende tanto do que ele diz quanto do momento em que decide falar, ou calar. O paper TurnWise, de Shuai Dong, Kanghui Tian, Linghan Chen e colaboradores (com Jiaqi Wang entre os autores), ataca um descompasso de granularidade no GRPO aplicado a esse cenário.
Uma única vantagem por trajetória é distribuída a todos os turnos. A agregação de perda por token dá mais peso a respostas longas do que a ações curtas de silêncio.
A proposta substitui as duas coisas por crédito calculado turno a turno, sem crítico aprendido e sem rollouts adicionais. Relata melhores escores agregados em ProactiveVQA, OVO-Timing e StreamingBench com dois backbones Qwen.
O que os autores propõem
Os autores apresentam o TurnWise como um framework de GRPO em nível de turno para compreensão de vídeo em streaming. A tese central é que o sinal de aprendizado de uma decisão em streaming deve enfatizar o retorno a partir daquele turno, e não a recompensa acumulada antes dele.
Para sustentar isso, o artigo combina dois mecanismos acoplados. O primeiro é atribuição de crédito por turno via silence-completed prefix scoring: cada prefixo da trajetória é reavaliado com todos os turnos restantes definidos como silêncio.
Isso produz um retorno remanescente do qual se constrói uma vantagem group-relative específica do turno.
O segundo é turn-mean policy optimization, que calcula a média das perdas de token dentro de cada turno e depois entre turnos. Assim, uma resposta longa e um NO REPLY curto têm o mesmo peso no objetivo.
Segundo os autores, os dois desenhos são complementares e resolvem dimensões distintas do mesmo problema: como um turno recebe crédito e como esse crédito é ponderado durante a otimização da política. O texto afirma explicitamente que o método não requer crítico aprendido nem rollouts extras, reutilizando as avaliações já feitas no rollout.
Contexto: qual problema está sendo atacado
Compreensão de vídeo em streaming difere da compreensão offline. O modelo opera sobre prefixos de observação e precisa decidir, a cada ponto de decisão, se responde ou continua observando.
Um assistente útil responde quando há evidência nova, complementa quando necessário e permanece em silêncio quando outra resposta agregaria pouco. A ação apropriada depende da evidência visual corrente, e também do que o modelo já comunicou.
Os autores situam o trabalho em uma linhagem que vai de VideoLLM-online, MMDuet, Dispider, StreamBridge, TimeChat-Online, Flash-VStream e Streamo até abordagens de RL para streaming. MMDuet2 otimiza recompensas baseadas em PAUC e usa treino de janela curta.
ThinkStream combina raciocínio incremental com recompensas de acurácia, formato e timing. StreamPro incorpora recompensas de nível de turno e de trajetória.
O diagnóstico do paper é que, apesar do esforço de reward design, essas formulações de GRPO continuam derivando uma vantagem compartilhada do reward agregado da trajetória e a difundindo por todos os turnos.
O argumento concreto é que uma boa trajetória pode conter turnos ruins, e uma trajetória ruim pode conter turnos bons. Depois de uma resposta inicial bem-sucedida, uma réplica redundante ainda herda vantagem positiva, mesmo que a recompensa penalize repetição.
Na direção oposta, um complemento útil após falhas anteriores recebe vantagem negativa porque a trajetória ficou abaixo da média do grupo. Sob agregação token-mean, uma resposta longa domina o gradiente enquanto um NO REPLY, que é uma ação gerada e otimizada, recebe peso proporcionalmente minúsculo.
Como funciona
A instância de streaming é definida por um vídeo, consultas do usuário, histórico de diálogo inicial e um plano de observação que especifica a grade de instantes de decisão. No turno t, o contexto da política contém apenas o prefixo vídeo-texto disponível e as ações já geradas na trajetória amostrada.
A espera é implementada como uma saída textual explícita, NO REPLY, tratada como ação gerada e otimizada junto com as respostas.
A recompensa segue o desenho do MMDuet2. Uma métrica baseada em PAUC mede qualidade e pontualidade da resposta dentro de janelas de réplica anotadas: para um dado ganho de qualidade, responder mais cedo aumenta a contribuição ao longo da janela.
Termos adicionais penalizam a fração de respostas não silenciosas cuja informação já foi coberta por respostas anteriores. Penalizam também a fração de turnos fora de janela em que o modelo responde, e violações de prefixo compartilhado excessivamente longas normalizadas pelo horizonte.
O resultado é um único escore de interação por trajetória.
O GRPO padrão converte esse escore em uma vantagem group-relative por trajetória, que é difundida a todos os tokens de ação. O TurnWise mantém os primeiros k passos amostrados e força o restante a silêncio, pontuando cada prefixo com o mesmo histórico inicial, os mesmos instantes de decisão, as mesmas janelas de réplica e o mesmo horizonte de avaliação da trajetória completa.
A diferença entre o escore do prefixo e o escore da trajetória completa fornece o retorno remanescente daquele turno. Esses retornos são comparados dentro do grupo de rollouts, normalizados e clipados por um limiar fixo definido pelos autores.
A formulação subtrai explicitamente a parte group-relative da recompensa já acumulada antes da decisão, e o primeiro turno tem correção zero.
Um coeficiente controla a intensidade dessa correção: em zero, todos os turnos compartilham a vantagem GRPO clipada; em um, vale a vantagem específica do turno. Os autores relatam aumento linear de zero a um ao longo da primeira fração do cronograma de atualizações, mantendo o valor em um depois disso.
É uma transição gradual do crédito compartilhado para o crédito por turno.
Como um sufixo silencioso não altera uma resposta já retida nem as réplicas anteriores, as avaliações de qualidade e repetição do rollout são reaproveitadas. Uma varredura determinística atualiza os escores de prefixo, sem juiz adicional.
A derivação telescópica e sua aplicação a termos de recompensa não aditivos estão detalhadas no paper.
O segundo componente, turn-mean, ataca a ponderação. Sob agregação token-mean, o turno com n_t tokens gerados recebe peso proporcional a n_t.
Sob turn-mean, a perda é mediada dentro do turno e depois entre turnos, tornando o peso de cada decisão independente do comprimento da saída. Com isso, respostas e esperas passam a ter peso equilibrado no objetivo de RL.
Resultados reportados
Os autores afirmam obter os melhores escores agregados em ProactiveVQA (também referido no texto como ProactiveVideoQA), OVO-Timing e StreamingBench, com dois backbones Qwen. Relatam ainda que a agregação turn-mean melhora o timing das respostas e reduz repetição em comparação com a otimização apenas com crédito por turno. Ou seja, os dois mecanismos produzem ganhos que não se sobrepõem completamente.
O material disponível para esta análise inclui o abstract, a introdução, o método e a discussão de trabalhos relacionados, mas não as tabelas numéricas. Por isso, os números exatos de cada benchmark não são reproduzidos aqui.
O artigo tem 16 páginas e 4 figuras e está depositado em arXiv na categoria cs.CV, com data de 4 de novembro de 2026.
Limitações e o que não foi provado
O método herda integralmente a função de recompensa do MMDuet2. Isso significa que vieses e lacunas do desenho de recompensa permanecem: pesos relativos entre qualidade, pontualidade e repetição, e a dependência de janelas de réplica anotadas.
O paper melhora a atribuição de crédito sobre uma recompensa dada, não a valida.
O argumento de que a decomposição telescópica vale para termos não aditivos é discutido pelos autores, mas é justamente onde o método fica mais frágil. Penalidades de repetição e escores PAUC com janelas interagem de forma não linear com o silêncio do sufixo, e o significado do "retorno remanescente" fica menos claro nesses casos.
Também não está demonstrado no material disponível que a correção por turno supere uma abordagem com crítico aprendido; a comparação alegada é contra formulações de GRPO em nível de trajetória.
A avaliação cobre três benchmarks e dois backbones Qwen, o que limita a generalização para outros modelos, outros domínios de streaming (reuniões, vigilância, robótica) e diálogos longos com muitos turnos. O custo do prefix scoring não é detalhado: embora não haja rollouts extras, cada trajetória exige múltiplas reavaliações do scorer, uma por turno, e o artigo não reporta esse overhead.
Os hiperparâmetros do método, como limiar de clipping, coeficiente de correção e cronograma de transição, não aparecem com ablações no material disponível. Trata-se de um preprint em arXiv; não há indicação, no material fornecido, de revisão por pares.
Por que isso importa para quem constrói com IA
Quem constrói agentes com percepção contínua, como análise de reuniões ao vivo, monitoramento por câmera e copilotos sobre feeds de vídeo, sabe que a decisão "falar agora ou esperar" é o comportamento de produto, não um detalhe de treino. Um modelo que responde demais gera ruído, custo de token e latência; um que responde de menos é inútil.
O TurnWise oferece uma receita relativamente barata para ajustar esse equilíbrio: em vez de reescrever a recompensa, muda-se a granularidade com que o sinal é distribuído e o peso com que cada decisão entra no gradiente.
Dois pontos são reaproveitáveis fora do contexto acadêmico. O primeiro é o truque de avaliar prefixos com silêncio forçado como referência de valor, uma forma de obter algo próximo de um return-to-go sem treinar um crítico.
Isso se aplica a qualquer pipeline de agente em que a recompensa seja recalculável sobre trajetórias parciais.
O segundo é a lição sobre agregação: se ações curtas e estruturalmente importantes (silêncio, uma chamada de ferramenta, um stop) forem diluídas por média de tokens, o modelo aprende a preferir verbosidade. Para equipes que treinam com GRPO, vale revisar como as perdas são agregadas antes de culpar a recompensa.
A ressalva é a de sempre: os resultados são de benchmarks de pesquisa, e a transferência para produção exige validação própria.
Referências
- Shuai Dong, Kanghui Tian, Linghan Chen, Wenqi Shao, Hongrui Wu, Haowen Hou, Yongfu Zhu, Xuehui Wang, Ziyue Wang, Wenpu Liu, Weichu Xie, Yuqi Xu, Congcong Wang, Kaiwen Tuo, Caoyuan Ma, Taiqiang Wu, Ji Zhao, Wenzheng Chang, Dianyi Wang, Siyuan Wang, Zhongyu Wei, Yu Qiao, Jiaqi Wang. Turns Matter: Advancing Streaming Video RL via Turn-Level Credit. arXiv:2611.06728, cs.CV, 2026. Disponível em arXiv.org/abs/2611.06728.
- MMDuet2 — trabalho anterior citado pelos autores como base da recompensa PAUC e do treino de janela curta.
- ThinkStream, trabalho anterior citado pelos autores sobre raciocínio incremental com recompensas de acurácia, formato e timing.
- StreamPro, trabalho anterior citado pelos autores que combina recompensas de turno e de trajetória.
- Benchmarks citados: ProactiveVideoQA/ProactiveVQA, OVO-Bench (com o subconjunto OVO-Timing) e StreamingBench.
- Métodos de base citados: Group Relative Policy Optimization (GRPO) e PPO.
