Um time liderado por Mike Zheng Shou, do Show Lab, propõe no paper Show-Harness uma maneira diferente de colocar modelos de visão e linguagem (VLMs) para controlar robôs.
Em vez de ajustar o modelo para regredir comandos contínuos específicos de cada hardware, os autores definem uma interface de ações semânticas discretas que o VLM já entende nativamente.
A tarefa de aterrissar cada decisão no mundo físico fica com um intérprete determinístico.
Segundo Yanzhe Chen, Zechen Bai, Zhijun Cao e demais coautores, isso habilita controle zero-shot com VLMs de fronteira fechados e adaptação de modelos pequenos, na casa de 2 bilhões de parâmetros, com poucas horas de GPU.
O trabalho ainda propõe a GUMI, uma interface gráfica que unifica coleta de dados por humanos e por agentes no mesmo espaço de ações.
O que os autores propõem
A contribuição central é o Show-Harness, descrito como um embodied harness agnóstico de modelo. É uma camada que envolve um VLM de propósito geral e o transforma em agente situado, sem reescrever seus pesos.
O harness reformula o controle robótico como um conjunto discreto de unidades de ação semântica.
Cada unidade especifica um único passo de movimento numa direção ou uma ação de garra. Um intérprete específico do embodiment converte essa unidade em um movimento pequeno e limitado do efetuador.
Os autores destacam dois modos de operação. No primeiro, VLMs de fronteira fechados viram agentes robóticos zero-shot, sem fine-tuning, superando harnesses agênticos representativos em tarefas, embodiments e ambientes.
No segundo, VLMs leves, modelos de escala 2B, são ajustados no mesmo espaço de ações com poucas horas de GPU. Em experimentos controlados, generalizam melhor e transferem melhor de simulação para o real do que paradigmas VLA representativos.
O terceiro bloco é a GUMI (GUI-based Manipulation Interface), que expõe a mesma interface semântica a humanos. Isso permite coleta de demonstrações sem hardware de teleoperação dedicado, com reuso entre embodiments e coleta colaborativa humano-agente.
Contexto: qual problema está sendo atacado
Os autores partem de uma constatação: VLMs de fundação já codificam boa parte do que a manipulação robótica exige. Reconhecem objetos, raciocinam sobre relações espaciais, decompõem objetivos de horizonte longo.
O problema é que esse conhecimento não se traduz automaticamente em comportamento físico.
O paper organiza o campo em duas rotas. A primeira são os modelos visão-linguagem-ação (VLA), que anexam geração de ação aprendida a backbones VLM pré-treinados e prevêem controles de baixo nível.
Esses controles incluem chunks contínuos por regressão, difusão ou flow matching; tokens motores discretizados; ações de keyframe ou grade espacial em espaço de tarefa; ou códigos de ação latentes aprendidos de trajetórias.
Extensões recentes acoplam predição de ação a dinâmicas visuais futuras em modelos vídeo-ação ou world-action.
A crítica dos autores é que essa rota troca semântica por controle. Reajustar o modelo a sinais motores específicos de um embodiment colapsa o conhecimento pré-treinado num mapeamento pixel-para-atuação opaco, que costuma exigir novas trajetórias de robô para cada família de tarefas ou hardware.
A segunda rota mantém o VLM acima do controle de baixo nível, emitindo subobjetivos, keypoints, alvos de affordance, mapas de valor ou restrições espaciais.
Preserva-se a semântica, mas entrega-se a física: o modelo especifica intenção sem ver como ela é realizada. Cada representação fica amarrada a um pipeline de aterrissagem específico do sistema.
Os autores argumentam que falta uma interface intermediária, um espaço de ações semanticamente significativo para o VLM, mas fino o suficiente para controle físico direto.
Como funciona
O Show-Harness opera num laço iterativo de percepção, raciocínio e ação. A cada passo, o sistema captura uma observação com visão multi-câmera e propriocepção do robô.
Essa observação, junto a um histórico compacto de interação, passa por um conjunto configurável de plugins de raciocínio, que produz um contexto refinado. O VLM central então escolhe uma ação semântica condicionada a esse contexto.
O espaço de ações é compacto e nomeado. A partir de uma vista de referência derivada das observações atuais, os comandos MV_FWD/MV_BACK, MV_LEFT/MV_RIGHT e MV_UP/MV_DOWN movem o efetuador um passo na direção correspondente.
Para reorientação, ROTATE_CW e ROTATE_CCW, cada um pareado a um eixo (x, y ou z), giram incrementalmente o efetuador. GRASP e RELEASE fecham e abrem a garra, e DONE sinaliza conclusão.
Os autores justificam o vocabulário por três propriedades. É incremental: cada unidade induz mudança física pequena e localizada, mantendo o modelo no laço de controle por meio de efeitos observáveis.
É interpretável e agnóstico de embodiment: símbolos semânticos em vez de alvos numéricos, com o controle de baixo nível delegado ao intérprete. E é visualmente ancorado: direções definidas em relação a vistas observáveis, o que permite mapear raciocínio espacial em ação.
A aterrissagem é determinística. Cada decisão vai para um intérprete específico do embodiment, que atualiza um setpoint de pose cartesiana de 6 graus de liberdade, separando posição e orientação.
Translações e rotações usam incrementos calibrados, e um operador de matriz skew-simétrica entra na composição da rotação.
Um mapeamento converte direções e eixos semânticos para o referencial de movimento daquele embodiment, e uma projeção impõe limites de espaço de trabalho e de passo. Unidades de garra contornam a atualização de pose e viram comandos diretos de abrir ou fechar.
Diferentes robôs realizam as mesmas unidades com controladores distintos. Os autores citam Franka, que rastreia setpoints cartesianos com controle de impedância; AgileX, que usa cinemática inversa e alvos de junta transmitidos em fluxo; e o simulador, que executa a ação correspondente em espaço operacional.
A página do projeto documenta esses componentes. A GUMI reaproveita o mesmo espaço de ações numa interface gráfica, o que na prática permite que um humano demonstre uma tarefa com os mesmos símbolos que o agente usa para executá-la, e que ambos coletem dados em conjunto.
Resultados reportados
Os autores relatam que o Show-Harness, sem qualquer fine-tuning, transforma VLMs de fronteira fechados em agentes robóticos zero-shot que superam harnesses agênticos representativos em tarefas, embodiments e ambientes.
Também afirmam que modelos de escala 2B, ajustados no mesmo espaço de ações com poucas horas de GPU, alcançam generalização e transferência sim-para-real mais fortes que paradigmas VLA representativos em experimentos controlados.
Um achado qualitativo destacado é que VLMs conseguem alternar flexivelmente entre diferentes granularidades de passo sem fine-tuning. Os autores tratam isso como evidência de que o espaço de ações incremental não engessa o comportamento.
Estudos adicionais sobre adaptabilidade física e semântica são apresentados como indicadores das propriedades que fazem uma interface VLM-robô funcionar bem.
O material ao qual tivemos acesso descreve esses resultados de forma comparativa e qualitativa. As tabelas com taxas de sucesso por benchmark, número de tarefas e configurações exatas de avaliação não estavam disponíveis para esta análise.
Limitações e o que não foi provado
A primeira ressalva é de evidência. As comparações são feitas contra "harness agênticos representativos" e "paradigmas VLA representativos", sem que o extrato disponível permita verificar quais sistemas específicos, em quais benchmarks e com qual margem.
Sem esses números, a superioridade relatada deve ser lida como afirmação dos autores, não como resultado auditado por nós.
A segunda é estrutural. O espaço de ações é incremental e cada unidade produz um deslocamento pequeno.
Isso favorece precisão por correções sucessivas, mas implica mais passos por tarefa, o que pressiona o custo de inferência de um VLM em laço fechado. O paper, pelo que temos, não quantifica isso em termos de latência por tarefa em hardware real.
Terceiro: a aterrissagem depende de incrementos calibrados e de um mapeamento semântico para o referencial de movimento de cada embodiment. Isso reintroduz trabalho de engenharia por robô, com calibração, limites de espaço de trabalho e limites por passo, mesmo que o modelo não precise ser reajustado.
A promessa de agnosticismo é do lado do modelo, não necessariamente do lado da integração.
Quarto: as direções são definidas relativamente a uma vista de referência observável. O desempenho depende de o alvo permanecer visível e de a vista de referência permanecer estável durante a execução.
Tarefas com oclusão, contato rico, objetos deformáveis, força ou tato não aparecem como resolvidas no material. A decomposição em movimentos incrementais não é obviamente suficiente para manipulação que exija controle de força ou conformidade.
Quinto: a GUMI é uma interface gráfica, e portanto herda as limitações de qualquer coleta mediada por tela. Fidelidade temporal, precisão de comandos e escalabilidade para tarefas de horizonte muito longo não são demonstradas no extrato.
Por que isso importa para quem constrói com IA
A tese do Show-Harness é, no fundo, uma tese sobre interfaces. Se o gargalo da IA corporificada é a ausência de um espaço de ações que seja simultaneamente semântico para o modelo e operável no mundo físico, então o avanço pode vir menos de um novo modelo e mais de uma nova camada de tradução.
Isso tem consequências práticas.
A primeira é reaproveitamento. Um harness agnóstico de modelo herda automaticamente os avanços dos VLMs de fronteira: quando um modelo melhor aparece, o agente robótico melhora sem coleta de dados nova.
A segunda é economia. Se um modelo de 2B consegue operar nesse espaço com poucas horas de GPU, o custo de implantação deixa de exigir clusters e passa a caber em hardware modesto.
Isso muda a conta para startups e laboratórios brasileiros que trabalham com robótica.
A terceira é dados. A GUMI sugere que humanos e agentes podem escrever no mesmo vocabulário, o que reduz a dependência de equipamento de teleoperação e abre caminho para coleta colaborativa e para reuso entre embodiments.
É uma lógica parecida com a dos agentes de computer-use, que atuam por mouse e teclado: expor ações compactas e interpretáveis é o que permite que o mesmo modelo sirva a interfaces diferentes.
Fica em aberto, porém, se essa interface é suficiente para a física difícil. Movimentos incrementais discretos funcionam bem para posicionamento e preensão simples.
Falta ver evidência de que escalam para tarefas com contato, força e dinâmica. É aí que a agenda de pesquisa vai decidir se o Show-Harness é um atalho elegante ou apenas mais uma camada útil antes do problema de controle propriamente dito.
Referências
- CHEN, Yanzhe; BAI, Zechen; CAO, Zhijun; ZENG, Wenzheng; LIN, Kevin Qinghong; LIN, Yiqi; LIANG, Guoqiang; MA, Kevin Yuchen; HUANG, Qiming; SHOU, Mike Zheng. Show-Harness: Just a VLM Agent Can Play Robots. arXiv:2609.10522, 2026. Disponível em: https://arxiv.org/abs/2609.10522
- Show Lab. Show-Harness — Project Page. Disponível em: https://showlab.github.io/Show-Harness/
