Em modelos de difusão para visão e linguagem (DVLMs), como o LLaDA-V, quase todo o custo de decodificação vem de reprocessar a mesma imagem a cada passo de ruído. Donghyeon Cho, Joowon Kim, Seungho Shin e Eunho Yang mediram quantas vezes a imagem muda de fato uma decisão de desmascaramento.
Acharam redundância grande: em média, 22,8% dos passos dependem dela, com mínima de 7,9% no MMBench.
A partir disso, propõem o LOWN, um método de decodificação sem treino e sem limiar ajustado. Ele decide, passo a passo, se o passo precisa da imagem e quantos tokens desmascarar.
Segundo os autores, retém 99,6% do desempenho do LLaDA-V em dez benchmarks com 35,3% dos FLOPs de decodificação.
O que os autores propõem
O LOWN (Look Only When Needed) é uma regra de decodificação, não um novo modelo. Parte de uma observação simples e mensurável.
O forward que inclui os tokens visuais (chamado no paper de FULL) custa muito mais que um forward apenas com texto (TEXT-ONLY). Tokens visuais ocupam 89–97% da sequência de entrada do LLaDA-V nos benchmarks estudados.
O forward sem imagem custa apenas 3–10% do FULL.
Se a imagem raramente altera o token previsto, gastar um FULL por passo é desperdício. A proposta acopla dois mecanismos.
Uma âncora (anchor) guarda as predições e confianças do último forward com imagem. Um certificado vem da comparação entre a predição TEXT-ONLY atual e essa âncora.
Quando as duas concordam, a predição antiga é "certificada" para reúso. Quando discordam, o passo paga um FULL.
O mesmo teste define quantos tokens são desmascarados naquele passo. O LOWN não só pula a imagem, como às vezes avança mais rápido que a linha de base.
Contexto: qual problema está sendo atacado
Modelos de difusão de linguagem refinam várias posições mascaradas em paralelo ao longo de passos de denoising. Arquiteturas como o LLaDA-V estenderam esse paradigma para compreensão de imagens e vídeo.
O problema é que a atenção bidirecional impede o uso direto do cache exato de chave-valor típico de modelos autorregressivos. A inferência padrão reprocessa a sequência multimodal inteira a cada passo.
A literatura ataca isso por três frentes, segundo os autores: poda de tokens visuais (RedVTP, D³ToM, ZOO-Prune), cache de estados intermediários (como o Fast-dLLM) e cronogramas de desmascaramento que revelam mais tokens por passo (KLASS, Prophet). Nenhuma dessas linhas pergunta o que o LOWN pergunta: se este passo específico precisa da imagem.
Poda e cache atuam dentro de um forward. Cronogramas atuam em quantos tokens saem por passo.
O LOWN decide as duas coisas a partir da concordância entre uma predição sem imagem e a última predição com imagem.
Os autores reforçam que a necessidade da imagem varia muito: 7,9% dos passos no MMBench, 43,8% no DocVQA, 22,8% na média dos dez benchmarks. Mostram também que a dependência tende a se concentrar no início da trajetória, com exceção visível no DeCapBench.
Isso torna cronogramas fixos mal ajustados ao fenômeno.
Como funciona
O mecanismo tem três peças. Primeiro, sempre que um forward FULL roda, o LOWN guarda as predições top-1 e as confianças nas posições ainda mascaradas.
Essa é a âncora.
Segundo, a cada passo ele roda um forward TEXT-ONLY, ordena as posições mascaradas pela confiança da âncora e marca como candidato certificado todo token cuja predição TEXT-ONLY coincide com a da âncora. O prefixo mais longo, nessa ordem de confiança, forma o conjunto certificado.
O primeiro desacordo encerra o prefixo, de modo que o número de tokens aceitos é determinado pela entrada e pelo passo, não por uma constante.
Terceiro, a decisão de gastar um FULL depende do tamanho desse prefixo. Se ele contém pelo menos tantos tokens quanto a linha de base desmascararia naquele passo, o passo pula a imagem e aceita o prefixo inteiro, desmascarando mais tokens que o padrão.
Se o prefixo é curto demais, o passo roda um FULL, substitui a âncora e desmascara seguindo a ordem "discordância primeiro". Posições em que TEXT-ONLY e FULL divergem vêm à frente, e o restante segue a confiança do FULL.
Como os dois ramos desmascararam pelo menos o número padrão de tokens, o LOWN nunca usa mais passos que a linha de base. A concordância funciona como um certificado duplo.
Ela aproxima, ao mesmo tempo, a condição de que a imagem não é necessária para aquele token e a de que a âncora continua válida depois que o estado da resposta mudou, sem nenhum limiar absoluto de confiança.
Os autores medem esse efeito: um FULL fresco reverte 4,1–11,0% dos tokens certificados contra uma âncora de um passo atrás. Nas execuções do próprio LOWN, a reversão fica em 2,2–4,7% dos tokens desmascarados em passos TEXT-ONLY.
No custo, a conta é explícita: o gasto relativo é f × (1 + c) dividido pela razão de passos. Aqui f é a frequência de forwards FULL, c o custo unitário do TEXT-ONLY (3–10% do FULL) e a razão de passos pode cair porque um passo TEXT-ONLY avança mais que o padrão.
A poda visual entra apenas no termo do FULL. Ela barateia cada forward com imagem, enquanto o LOWN reduz quantas vezes esse forward acontece, daí a composição ortogonal.
Há também uma proteção contra repetição, detalhada no apêndice do paper.
Resultados reportados
Os autores avaliam em dez benchmarks cobrindo múltipla escolha, documentos e gráficos, raciocínio matemático e legendagem aberta, além de três backbones: LLaDA-V, LaViDa e VidLaDA. No LLaDA-V, o LOWN retém 99,6% do score da linha de base com 0,35 dos FLOPs de decodificação.
Contra métodos acelerados que recebem pelo menos o mesmo orçamento de FLOPs, obtém o melhor score em oito dos dez benchmarks.
A base da motivação também é medida diretamente. Em 83,4% das posições desmascaradas, FULL e TEXT-ONLY dão o mesmo top-1.
E 85,0% dos tokens finais já apareciam como predição top-1 antes do passo em que foram desmascarados. Combinado com cache de chave-valor ou com poda de tokens visuais, o LOWN corta os FLOPs do parceiro em 1,8–2,5 vezes.
Com o cache, o par decodifica 5,6–7,0 vezes mais rápido que o modelo sozinho. As mesmas regras, dizem os autores, transferem-se para LaViDa e VidLaDA.
Limitações e o que não foi provado
O LOWN não reduz o custo de um forward com imagem. Isso continua sendo trabalho de poda ou cache, e o ganho reportado depende dessa composição.
O certificado envelhece. Os próprios autores observam que o erro cresce com a idade da âncora e por isso a substituem integralmente a cada FULL.
Isso implica que os passos iniciais, mais dependentes da imagem, permanecem caros.
A evidência é de um conjunto finito de dez benchmarks escolhidos pelos autores e de três backbones da família LLaDA. Tarefas de grounding visual fino e documentos densos são justamente onde a dependência da imagem é maior (43,8% dos passos no DocVQA).
O ganho médio de 0,35× mascara variação considerável entre tarefas.
O paper não demonstra que o certificado preserve o comportamento em domínios fora desses benchmarks. Nem analisa qualitativamente casos em que o reúso da âncora produz erro persistente.
Também não há, no material disponível, comparação de latência em produção com batching real.
Por que isso importa para quem constrói com IA
A lição prática vai além do LOWN. Em sistemas multimodais com muitos tokens visuais, o gargalo de inferência pode estar menos em "entender a imagem" e mais em reprocessá-la por dezenas de passos.
Medir a discordância entre uma passada sem imagem e uma com imagem é barato, 3–10% do custo. E serve como sinal de controle em tempo de decodificação, sem retreinar nada.
Para quem opera DVLMs localmente ou com restrição de GPU, o padrão é reaproveitável. Usar o próprio modelo como oráculo de necessidade de contexto visual, aceitar predições antigas quando confirmadas e transformar essa confirmação em orçamento de tokens por passo.
A ressalva é a mesma de sempre em eficiência de inferência. Ganhos médios de FLOPs não se traduzem automaticamente em latência percebida, e a composição com cache e poda precisa ser revalidada no seu conjunto de tarefas.
Referências
- Cho, D.; Kim, J.; Shin, S.; Yang, E. Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs. arXiv:2610.36671, 2026. https://arxiv.org/abs/2610.36671
- Página do projeto LOWN, com código e resultados adicionais: https://hyeon9698.github.io/LOWN/
- Baselines citados no paper: LLaDA-V, LaViDa, VidLaDA, KLASS, Prophet, RedVTP, D³ToM, ZOO-Prune e Fast-dLLM.
