Modelos de visão-linguagem usados como "cérebro" de robôs e carros autônomos costumam escrever seus planos espaciais um token de cada vez. É uma coordenada por passo autoregressivo.
O VFlash substitui essa serialização por um esquema em que a primitiva visual inteira é prevista de uma só vez por um drafter leve.
A primitiva pode ser uma caixa, uma trajetória de oito waypoints ou uma nuvem de pontos 3D. O paper é de Yu-Cheng Chou, Shihao Wang, Zhiding Yu e colegas: VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding (arXiv 2611.08449, categoria cs.RO).
Os autores relatam ganhos simultâneos de velocidade e de acurácia espacial. São cerca de 25x mais rapidez na previsão de movimento 3D e 70,2% de sucesso médio, contra 62,6% da linha de base, em quatro suítes do MolmoSpaces.
O que os autores propõem
O artigo propõe o Flash Primitive Decoding (FPD), um framework de decodificação genérico para aplicações de "IA física". Ele acomoda texto (por exemplo, sub-tarefas descritas em linguagem) e primitivas visuais diversas: pontos, bounding boxes, trajetórias de comprimento variável e previsões densas de movimento 3D.
A tese central é que a estrutura de uma primitiva visual é conhecida antes de seus valores. Dado o tipo, a dimensionalidade e o comprimento da primitiva, o layout de coordenadas é fixo.
Isso permite alinhar blocos de rascunho às fronteiras de cada objeto geométrico, decodificando dezenas a centenas de tokens em uma única passada para frente.
O ponto mais polêmico, e que os próprios autores destacam, é a ruptura com a decodificação especulativa lossless. Em vez de exigir concordância token a token com o modelo-alvo, o VFlash aceita integralmente um rascunho que seja estruturalmente válido segundo um validador de schema.
Para texto, o método mantém o caminho verificado tradicional. A página do projeto está em research.NVIDIA.com/labs/lpr/vflash.
Contexto: qual problema está sendo atacado
VLMs são cada vez mais usados como camada de raciocínio de alto nível em robótica e direção autônoma. Esse raciocínio não precisa ser só linguístico.
Pontos e caixas identificam objetos e locais; trajetórias descrevem intenção de movimento ou antecipam a evolução da cena.
O problema é econômico. Quanto mais detalhe espacial se quer, mais tokens de coordenada são necessários.
Trajetórias mais longas, mais objetos, previsões conjuntas 2D e 3D: tudo isso aumenta a conta, e a decodificação autoregressiva emite os tokens sequencialmente.
Em agentes físicos que replanejam a cada nova observação, isso vira um teto de latência. Com orçamento fixo de tempo, detalhe espacial e frequência de atualização competem entre si.
A literatura já oferece caminhos paralelos, como decodificação especulativa com verificação paralela e modelos de linguagem por difusão. Os próprios autores citam que dLLMs costumam apresentar um trade-off entre velocidade e qualidade frente a modelos autoregressivos.
O DFlash, com um drafter de difusão em bloco, reduz o custo do rascunho. O LocateAnything explora estrutura espacial para decodificar caixas em paralelo.
O VFlash se posiciona como generalização dessa ideia para primitivas geométricas arbitrárias.
Como funciona
O mecanismo gira em torno de dois alinhamentos. O alinhamento de fronteira define o que é previsto junto: cada bloco de rascunho cobre uma primitiva completa, e não uma janela de tamanho fixo.
Em predições de comprimento variável, uma chamada de ferramenta declara a extensão, que, junto com o tipo da primitiva, determina o layout.
O alinhamento de posição define o que cada slot prevê. Cada posição tem papel conhecido antes da decodificação (waypoint, eixo, delimitador), o que permite restrições por posição na inferência.
Isso exige que cada coordenada ocupe um número fixo de posições. O modelo base usa tokens especiais de início e fim de primitiva e 1.001 tokens especiais por coordenada, com coordenadas 2D normalizadas em 0–1.000 e coordenadas 3D quantizadas em faixas predefinidas.
Para alvos que emitem coordenadas como texto comum, caso do MolmoMotion-AR, usado em movimento denso, o VFlash reserva sinal e cinco posições de dígito por coordenada. Preenche posições altas não usadas com o token de máscara e depois renderiza a previsão de volta ao formato textual do alvo.
No treino, os autores adaptam um VLM autoregressivo ao formato espacial, congelam-no e treinam um drafter rasa e não causal sobre suas features. A minimização é de entropia cruzada ponderada com pesos uniformes nas posições da primitiva, diferente do decaimento que favorece posições iniciais no texto.
O detalhe crucial é a fonte dos rótulos: coordenadas anotadas ou grades renderizadas, não a continuação do modelo-alvo. Ou seja, o drafter é otimizado para acurácia espacial, não para concordância de tokens.
Na inferência, blocos DFlash de 16 posições rodam até que um token de início de primitiva seja aceito. Então o decodificador resolve o schema e rascunha o bloco completo em uma passada.
Restrições por posição limitam coordenadas e delimitadores ao vocabulário legal, e regras entre posições tratam coordenadas fora de quadro. Tudo é aplicado sobre logits já calculados, sem avaliação neural adicional.
O teste de aceitação combina o validador de schema e, para caixas, a guarda de confiança espacial do LocateAnything. Os primeiros slots são retidos e o restante é regenerado por decodificação autoregressiva restrita do alvo.
O custo de uma primitiva válida passa a ser uma passada do drafter mais uma passada do alvo, independentemente do número de coordenadas.
Resultados reportados
Os autores avaliam o VFlash em trajetórias robóticas 2D e 3D, caixas delimitadoras e previsão densa de movimento 3D por pontos. A afirmação central é que o método reduz consistentemente o erro de predição em relação ao alvo autoregressivo nas tarefas de trajetória avaliadas.
É um resultado contraintuitivo, já que o rascunho paralelo superaria o próprio modelo que deveria imitar em acurácia espacial.
Em eficiência, medições preliminares de rollout único indicam aproximadamente 25x mais velocidade de geração na previsão de movimento 3D por pontos. No pipeline de manipulação robótica usado como estudo de caso, os autores relatam cerca de 80% de redução de latência de inferência tanto no Jetson Thor quanto no DGX Spark.
No quesito utilidade a jusante, um world action model condicionado nos planos do VFlash alcança 70,2% de sucesso médio em quatro suítes de tarefas do MolmoSpaces, contra 62,6% da linha de base. São 7,6 pontos percentuais de diferença.
O modelo base dos experimentos é um VLM encorporado customizado que combina Qwen3-4B, o encoder MoonViT em resolução nativa e um conector MLP.
Limitações e o que não foi provado
A primeira ressalva vem dos próprios autores: as medições de velocidade são "preliminares" e de "rollout único". Não há, no material disponível, distribuição completa de latência, análise de cauda ou comportamento em carga concorrente.
O argumento de projeto é explicitamente voltado a batch size um, típico de sistemas físicos sensíveis a latência.
A segunda é conceitual e mais séria. Ao aceitar uma primitiva sem concordância token a token, o VFlash abre mão da garantia de preservação da distribuição do modelo-alvo que sustenta a decodificação especulativa lossless.
O validador de schema verifica estrutura, não correção semântica: uma trajetória pode ser sintaticamente impecável e espacialmente errada. Os autores argumentam que, para planejamento visual, acurácia espacial e utilidade para ação são critérios melhores do que acordo de tokens.
Essa troca desloca a responsabilidade para o treino do drafter e para os dados anotados.
Terceiro, o método depende de que a estrutura seja declarada antes da predição: tipo e comprimento conhecidos via chamada de ferramenta. Isso funciona bem para waypoints e caixas, mas a generalização para primitivas cuja extensão não é conhecida a priori não é demonstrada no extrato.
Quarto, os experimentos de ablação exigem fine-tuning do alvo autoregressivo em dados específicos de cada tarefa. Parte do ganho relatado está condicionada a essa receita de adaptação.
Os números de hardware cobrem duas plataformas e um pipeline. Não há evidência, no material, de que a aceleração se mantenha em backbones maiores ou em tarefas fora do escopo 2D/3D avaliado.
Por que isso importa para quem constrói com IA
Para quem projeta agentes físicos, o recado prático é que o gargalo de planejamento visual pode não estar no tamanho do modelo, mas no formato de saída. Coordenadas serializadas como texto são caras por construção: cada waypoint adicional custa passos sequenciais.
Transformar a primitiva em unidade de decodificação muda a curva de custo. Mais detalhe espacial deixa de implicar mais passos sequenciais, o que é exatamente o que um loop de controle em tempo real precisa.
Há também uma implicação arquitetural. Se planos visuais servem de condicionamento para modelos de ação, como sugere o ganho no MolmoSpaces, então a qualidade e a latência do planejador se propagam direto para a política.
O VFlash se apresenta como uma espécie de "Sistema 1" de planejamento: decisões rápidas, tipadas, geométricas, com o raciocínio em linguagem permanecendo no caminho verificado. Para times que já investem em decodificação especulativa, o paper é um convite a separar dois regimes.
Texto com verificação estrita, geometria com validação estrutural, em vez de aplicar a mesma política de aceitação a tudo.
A ressalva é que essa separação exige dados anotados de qualidade e validação de schema bem construída. Sem isso, a velocidade extra pode apenas produzir planos rápidos e errados.
Referências
- CHOU, Yu-Cheng; WANG, Shihao; YU, Zhiding et al. VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding. arXiv:2611.08449 [cs.RO], 5 nov. 2026. Disponível em: https://arxiv.org/abs/2611.08449
- NVIDIA Research. VFlash — página do projeto. Disponível em: https://research.nvidia.com/labs/lpr/vflash/
