Pesquisadores da Tencent apresentam o WeVisOne-VL, um modelo de linguagem e visão que trata detecção, localização por referência, contagem, OCR, segmentação e matting como uma única tarefa de predição estruturada de próximos tokens. A proposta central é unir percepção em nível de objeto e em nível de pixel sem depender de um grande modelo de segmentação separado.
Segundo os autores, o sistema é construído sobre o Qwen3-VL, nas escalas de 2B e 4B parâmetros. Foi treinado com cerca de 100 milhões de imagens e aproximadamente 3,6 bilhões de anotações de caixas.
O artigo é um relatório técnico e deve ser lido como afirmação dos autores, não como resultado independentemente verificado.
O que os autores propõem
Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun, Chen Li e Jing Lyu propõem um VLM que aceita instruções em linguagem natural. A saída vai de pontos e caixas até máscaras binárias e alpha mattes.
A granularidade é definida pelo usuário. O modelo pode localizar um objeto com uma caixa, uma máscara densa ou um recorte com transparência.
Para isso, o WeVisOne-VL introduz dois elementos técnicos centrais. O primeiro é um conjunto de tokens dedicados, de <0> a <1000>, para codificar coordenadas normalizadas de forma compacta.
O segundo é o token especial <OBJ>, emitido após cada caixa prevista.
O estado oculto desse token serve como representação latente da instância. Ele alimenta um decoder de pixels leve, que combina essa representação com features multi-nível do ViT compartilhado para produzir saídas densas sobre a imagem inteira.
Os autores descrevem o modelo como uma interface única para tarefas que normalmente exigem pipelines separados: detecção de objetos, referring localization, contagem, reconhecimento de texto, segmentação e matting. A promessa é permitir "localização em qualquer granularidade específica do usuário", de pontos e caixas a máscaras e alpha mattes, mantendo a identidade da instância entre as etapas.
O modelo é apresentado como open-source, com página de projeto mantida pela Tencent.
Contexto: qual problema está sendo atacado
O artigo parte de uma crítica aos VLMs atuais. Eles reconhecem conceitos e seguem instruções, mas continuam pouco confiáveis em percepção visual fina.
Os autores citam três falhas recorrentes. A primeira é alucinar objetos que não existem.
A segunda é interpretar mal a intenção do usuário diante de descrições incomuns. A terceira é ignorar instâncias pouco salientes, resultando em recall incompleto.
Em aplicações reais, como criação de conteúdo, inspeção industrial, direção autônoma e inteligência incorporada, esses erros têm custo alto.
O texto situa a evolução do campo em três ondas: modelos convencionais de detecção e segmentação, como YOLO e DETR; modelos de percepção aberta, como Grounding-DINO e SAM; e, mais recentemente, grandes VLMs.
Cada onda ampliou o que o modelo reconhece e as instruções que consegue seguir. Segundo os autores, ainda há uma distância entre desempenho e eficiência para implantação real.
A questão central é como unificar percepção discreta e densa em um único modelo sem perder qualidade nem aumentar excessivamente o custo computacional. A resposta proposta é tratar todas as tarefas como predição estruturada de tokens e acoplar um decoder leve apenas para as saídas densas.
Como funciona
O WeVisOne-VL é composto por um backbone VLM, o Qwen3-VL, e um decoder de pixels leve. A arquitetura usa o mesmo ViT para extrair features visuais em múltiplos níveis.
Quando a tarefa exige uma máscara ou um alpha matte, o modelo gera uma caixa, emite o token <OBJ> e usa o estado oculto desse token como vetor de instância. O decoder combina esse vetor com as features do ViT para prever a região densa.
Assim, o modelo não precisa de um segmentador externo de grande porte, como SAM ou variantes, para cada instância.
O treinamento é dividido em três estágios de Supervised Fine-Tuning, seguidos de Reinforcement Learning com tarefas mistas. O primeiro estágio ensina o alinhamento de tarefas e a forma estruturada de saída.
O segundo introduz dados de alta resolução e percepção densa, com foco em objetos pequenos e cenas aglomeradas. O terceiro incorpora tarefas em nível de pixel, estendendo o modelo de localização discreta para predição densa.
Na etapa de RL, os autores selecionam amostras em que o modelo de SFT é mais incerto e aplicam Group Relative Policy Optimization, o GRPO, sobre a mistura de tarefas. Segundo o artigo, essa otimização on-policy melhora a acurácia de localização e suprime previsões repetidas ou alucinadas.
A construção dos dados é parte substancial do trabalho. O chamado WeVisOne-VL Data Engine organiza conceitos de categoria e expressões de referência em um grafo de conhecimento compartilhado, inicializado com recursos como a Wikipedia e o WordNet.
Para detecção, o pipeline combina propostas do SAM3 e de um detector open-vocabulary interno baseado em arquitetura DINO. Os candidatos são consolidados, e o Qwen3-VL verifica se cada região corresponde à consulta.
Para referring, usa o framework SAM3 Agent e o Rex-Omni como especialistas de localização, com a mesma verificação semântica. As caixas aceitas são convertidas em máscaras binárias com o SAM2, herdando a consulta de origem.
Para matting, um anotador dedicado produz supervisão alpha contínua. O engine também constrói exemplos difíceis, incluindo negativos revisados contra a imagem inteira.
Erros de modelos revisados orientam nova aquisição e correção de anotações.
Resultados reportados
Os autores afirmam que o WeVisOne-VL foi avaliado em mais de 30 benchmarks. O modelo teria desempenho líder tanto em tarefas de nível de objeto quanto de nível de pixel.
O texto cita detecção de objetos, referring fine-grained, reconhecimento de texto e predição de pixels guiada por linguagem.
Também menciona robustez em cenários difíceis, como alta recall em cenas aglomeradas e rejeição correta de consultas quando o alvo está ausente. A comparação é feita contra modelos gerais de estado da arte e sistemas visuais especializados.
O extrato disponível não detalha os números por benchmark, os baselines exatos nem as métricas usadas em cada tarefa.
Os números estruturais são mais concretos: modelos de 2B e 4B parâmetros, cerca de 100 milhões de imagens de treinamento e aproximadamente 3,6 bilhões de anotações de caixas. O artigo também informa que o modelo mantém "robust rejection for object-absent queries", ou seja, foi treinado para não inventar uma instância quando a consulta não tem correspondência na imagem.
Para quem acompanha VLMs, a combinação de escala moderada com variedade de tarefas é o ponto mais interessante. Em vez de competir apenas por tamanho, o trabalho aposta em dados curados, estrutura de saída e RL para melhorar confiabilidade.
Limitações e o que não foi provado
O material disponível é um relatório técnico, sem venue informado, e não apresenta a tabela completa de resultados no extrato. Isso limita a verificação independente das alegações de liderança.
Não sabemos, por exemplo, qual é o ganho absoluto em cada benchmark, qual o custo de latência do decoder de pixels, como o modelo se comporta em imagens fora da distribuição de treinamento e qual o impacto real do GRPO em comparação com SFT apenas. Também não está claro quais pesos, códigos e dados foram efetivamente liberados, apesar da menção a open-source.
Há dependências relevantes no pipeline de dados: SAM3, SAM2, Rex-Omni, Qwen3-VL e um detector interno da Tencent. Isso dificulta a reprodutibilidade completa do Data Engine por terceiros.
A anotação combina modelos e verificação por VLM, com spot checks manuais; os autores não quantificam no extrato a taxa de erro residual dessas anotações.
Para matting, a supervisão alpha contínua é especialmente sensível a artefatos, e não há, no material, uma avaliação separada de robustez nessa tarefa. A rejeição de consultas ausentes é promissora, mas depende de exemplos negativos construídos no próprio pipeline; resta saber como o modelo generaliza para negativos adversariais ou ambíguos.
Também não foi provado que a abordagem substitui, em todos os casos, pipelines especializados. Os autores argumentam que evitam um grande modelo de segmentação separado, mas não apresentam, no extrato, uma análise de custo total que inclua o decoder, o backbone e o processo de anotação.
A comparação com modelos maiores e com sistemas especializados precisa ser lida com cautela até que a comunidade reproduza os números.
Por que isso importa para quem constrói com IA
Para equipes que montam produtos multimodais, o artigo aponta uma direção prática: usar um único VLM para decidir o que existe, onde está e qual é a extensão pixel a pixel de cada instância. Isso simplifica a orquestração de agentes que precisam clicar, recortar, contar ou editar imagens.
Em vez de encadear um detector, um segmentador e um modelo de matting, o desenvolvedor envia uma instrução e recebe uma saída estruturada. A inclusão do token <OBJ> como representação de instância é uma ideia reaproveitável mesmo fora do WeVisOne-VL.
Ela mostra como acoplar saídas densas a um modelo autoregressivo sem transformar o backbone em um segmentador completo.
O trabalho também reforça que dados de anotação são o gargalo. O Data Engine, com grafo de conceitos, verificação por VLM e mineração de erros, é tão importante quanto a arquitetura.
Para quem constrói com IA no Brasil, a lição é que confiabilidade em percepção fina exige curadoria de dados e avaliação de rejeição, não apenas aumentar o modelo.
A promessa de open-source, se confirmada, pode baratear experimentos com segmentação e matting guiados por linguagem. A ressalva é que os resultados ainda precisam ser reproduzidos de forma independente, especialmente em domínios locais, como documentos, imagens de satélite e cenas industriais, que não são o foco do relatório.
Referências
- WeVisOne-VL: Unified Visual Perception from Objects to Pixels. arXiv:2610.31329. https://arxiv.org/abs/2610.31329
- Página do projeto WeVisOne-VL. https://tencent.github.io/WeVisOne-VL
- Wikipedia, recurso citado na inicialização do grafo de conhecimento. https://www.wikipedia.org/
