A avaliação de modelos multimodais para vídeo ainda mede partes do problema. O OmniCompass tenta corrigir isso.
O benchmark foi proposto por Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li, Zeqing Wang, Zuhao Yang, Zichen Wen e Lei Zhang.
São dois trilhos de evidência, três tarefas por trilho, vídeos de curta a longa duração e duas formas de especificar o mesmo alvo. A conclusão dos autores é desconfortável para o estado da arte.
Mesmo os líderes erram localização temporal e espacial com frequência. A distância entre modelos proprietários e abertos explode quando o áudio entra na conta.
O que os autores propõem
Os autores descrevem o OmniCompass como um benchmark holístico para grounding e entendimento de vídeo omni-modal. Há página do projeto e código de avaliação descrito no preprint arXiv:2610.18829.
A arquitetura conceitual tem quatro eixos.
O primeiro é a evidência. O trilho OmniCompass-VL avalia modelos de visão-linguagem em tarefas resolvíveis com frames.
O OmniCompass-AV exige evidência conjunta de áudio e vídeo.
O segundo é a especificação do alvo. Cada instância aparece em duas versões pareadas: apenas texto e texto+imagem.
As duas apontam para o mesmo alvo, com a mesma semântica, o mesmo vídeo e o mesmo ground truth.
O terceiro eixo é a cobertura de tarefas. São grounding temporal (TG, quando o alvo aparece), grounding espacial (SG, onde ele está) e perguntas e respostas (QA, o que acontece).
O quarto é a duração, dividida em curta, média e longa.
Para medir o efeito do pareamento, os autores introduzem o Cross-Specification Consistency Score (CS). A métrica combina acurácia da tarefa com consistência entre as duas formas de especificação.
O OmniCompass-VL reúne 820 vídeos e 2.460 instâncias, com 80,6 horas, sete domínios e 52 subcategorias. O OmniCompass-AV é um subconjunto de 240 vídeos e 720 instâncias, rico em narração e áudio.
A taxonomia de QA cobre cinco categorias de percepção e três de raciocínio no trilho VL. No AV, são três de percepção e duas de raciocínio.
Contexto: qual problema está sendo atacado
Os autores argumentam que os benchmarks existentes cobrem só parte das dimensões necessárias. Eles organizam a comparação em quatro eixos: especificação do alvo, tipo de evidência, cobertura de tarefas e duração do vídeo.
No primeiro eixo, a maioria dos benchmarks usa apenas texto. O IV-Bench combina imagem de referência com texto.
No segundo, TempCompass e MotionBench focam percepção visual. WorldSense e JointAVBench exigem áudio sincronizado.
No terceiro, benchmarks de QA produzem respostas semânticas. OmniGround pede intervalos e regiões explícitas.
O V-STaR combina TG, SG e QA.
No quarto, o MVBench olha ações locais. LongVideoBench, MLVU e LVBench testam contexto longo e dependências distantes.
Daí saem três lacunas, segundo os autores. A primeira é cobertura limitada de evidência: ou se avalia o visual, ou o audiovisual, raramente os dois com a mesma régua.
A segunda é rigidez na especificação do alvo: quase ninguém avalia o mesmo alvo por texto e por imagem. A terceira é fragmentação de tarefas: QA de um lado, grounding do outro.
O exemplo que eles dão é concreto. Em uma transmissão de notícias, algumas perguntas são sobre cenas visíveis.
Outras exigem alinhar a fala do repórter a pessoas ou eventos. Em um jogo de basquete, o usuário pode querer saber quando um jogador marca, onde ele está na quadra e o que aconteceu.
São três falhas distintas que só aparecem separadas se TG, SG e QA forem avaliados em conjunto.
Como funciona
A construção passou por seleção de fontes, pontuação de candidatos orientada por tarefa, desenho de referências e definição de uma taxonomia de QA. O material combina vídeos públicos de esporte, trânsito, vigilância e documentário com 240 vídeos coletados pelos próprios autores de filmes, TV, variedades e notícias.
Essa parte coletada forma o subconjunto AV.
A anotação foi manual, com verificação de qualidade em múltiplas rodadas. Os autores relatam cerca de 1.800 horas-humanas entre treinamento de anotadores, calibração, anotação, adjudicação por especialistas e revisão.
Cada instância passa por critérios de revisão documentados e registros de reparo.
A avaliação tem duas configurações pareadas por instância. Na primeira, o alvo é descrito apenas em texto.
Na segunda, texto mais imagem de referência. Vídeo, semântica e ground truth são idênticos nas duas.
O protocolo analisa o efeito de escalonamento de frames, da presença de timestamps e do tipo de especificação de referência. Há prompts padronizados por tarefa e exemplos no apêndice do trabalho.
Resultados reportados
Os autores afirmam ter avaliado 50 MLLMs. No trilho OmniCompass-VL, o melhor modelo proprietário citado, Gemini-3.8-Flash, alcança 42,8%.
O melhor aberto, Kimi-K3, chega a 39,6%.
A diferença entre o melhor proprietário e o melhor aberto é de 3,2 pontos no trilho VL. Mas salta para 32,8 pontos no trilho AV.
A vantagem do modelo fechado se mantém modesta quando só há imagem. Torna-se abissal quando o modelo precisa ouvir.
Três padrões adicionais aparecem no relato. Primeiro, bom desempenho em QA convive com grounding fraco: acertar "o que aconteceu" não implica saber quando nem onde.
Segundo, a especificação visual não ajuda de forma consistente. O modo texto+imagem melhora a média de configuração única para apenas 11 de 36 modelos analisados nesse recorte.
Terceiro, há inconsistência entre as duas formas de apontar o mesmo alvo, mesmo quando as acurácias agregadas são parecidas. É exatamente o que o CS tenta expor.
Nas análises adicionais, timestamps melhoram substancialmente o desempenho em tarefas e trilhos. O áudio melhora consistentemente QA e TG no trilho AV.
Os autores também reportam desempenho segmentado por duração de vídeo, granularidade do alvo e domínio de conteúdo.
Limitações e o que não foi provado
O teto de 42,8% é, por si só, um recado: nas condições do benchmark, nenhum dos 50 modelos avaliados resolve metade das instâncias. Os autores não demonstram que esse teto decorra de uma deficiência específica e isolada.
Eles descrevem sintomas, como grounding fraco e inconsistência entre especificações, sem provar uma causa única.
Também não fica provado que melhorar essas métricas melhore desempenho em aplicações reais. Nem que os resultados se generalizem para além do conjunto avaliado, que mistura vídeos públicos com 240 vídeos coletados especificamente para o trabalho.
O trilho AV é pequeno: 240 vídeos e 720 instâncias, contra 820 vídeos e 2.460 instâncias no VL. Isso limita a granularidade das conclusões sobre áudio.
O recorte de consistência cita 36 modelos, enquanto a avaliação principal fala em 50. O material disponível não deixa claro o que explica a diferença.
Há ainda o problema inerente a benchmarks. Os modelos proprietários comparados são caixas-pretas.
Modelos novos aparecerão depois da publicação, tornando o retrato datado por definição.
O CS mede consistência entre duas especificações, não robustez geral. Um modelo pode ser consistente e errado nas duas.
Ou inconsistente e correto em ambas por caminhos diferentes. A métrica é diagnóstica.
Não é prova de capacidade.
Por que isso importa para quem constrói com IA
Quem constrói produto com vídeo depende de três capacidades que raramente são testadas juntas: achar o momento, achar a região e entender o evento. Isso vale para busca, moderação, análise esportiva, monitoramento e edição assistida.
O OmniCompass deixa explícito que elas não vêm de graça juntas. Um pipeline que acerta legendas e respostas pode continuar errando o timestamp.
Esse erro é o que quebra o recorte automático, o índice de busca ou o alerta em tempo real.
Para times brasileiros, há dois pontos práticos. O primeiro é o protocolo pareado: especificar o mesmo alvo por texto e por imagem é uma forma barata de detectar fragilidade em prompts que hoje usam só uma modalidade.
O segundo é o CS como ideia: medir consistência, e não só acurácia média, expõe modelos que parecem bons por sorte agregada.
A lacuna de 32,8 pontos no trilho audiovisual sugere que, se o produto depende de áudio, o modelo aberto ainda é aposta de risco. Pelo menos segundo os autores, com os modelos disponíveis no momento do estudo.
O benchmark mede entendimento e localização, não latência, custo ou robustez a domínios muito distintos do conjunto anotado. Todos esses fatores são decisivos em produção.
Referências
- OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding. Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li, Zeqing Wang, Zuhao Yang, Zichen Wen, Lei Zhang. arXiv:2610.18829, cs.CV, 2026. https://arxiv.org/abs/2610.18829
- Página do projeto e benchmark: https://omnicompass.netlify.app/
- Benchmarks citados pelos autores na comparação: TempCompass, MotionBench, WorldSense, JointAVBench, OmniGround, V-STaR, MVBench, LongVideoBench, MLVU, LVBench e IV-Bench.
