Um modelo de linguagem-visão treinado para responder de que lado está um objeto não aprende necessariamente a preservar o deslocamento métrico que sustenta essa resposta. Yihao Hu e coautores chamam de "interface lock-in" o padrão em que o pós-treinamento melhora um formato de leitura, seja opção categórica, valor em metros ou timestamp, enquanto o desempenho em outros formatos estagna ou piora.
O paper propõe o ChronoReplay. A ferramenta reorganiza supervisão espacial heterogênea em episódios cronológicos com alvos no formato nativo e balanceamento explícito entre famílias de tarefas.
Segundo os autores, um único checkpoint melhora ao mesmo tempo OVO-S-Bench, OST-Bench e UCS-Bench sob o mesmo acesso de observação, com ganho de 13,41 pontos no OST-Bench.
O que os autores propõem
O trabalho parte de uma constatação empírica. Receitas de pós-treinamento para VLMs espaciais costumam ser "de interface única".
Uma receita supervisiona um formato de resposta e reporta o benchmark que compartilha esse formato. Quando se misturam perguntas qualitativas e métricas, o treino tende a favorecer a leitura dominante.
No experimento dos autores, partindo do Qwen3-VL-8B, um controle treinado apenas com alvos categóricos chega a 58,03 no OVO-S, mas derruba o OST de 50,52 para 47,48. Já o treino apenas com trajetórias deixa o OST praticamente estagnado em 51,03.
A proposta ataca dois problemas ao mesmo tempo. O primeiro é esse desequilíbrio entre interfaces.
O segundo é que um alvo métrico ou temporal só é válido sob a história que o produziu. Um observador que se move para a frente depois de olhar para o norte e outro que faz o mesmo depois de olhar para o leste compartilham observações recentes e deslocamento local parecidos.
Mas podem ter respostas diferentes para uma pergunta sobre um objeto visto antes. Separar o alvo do prefixo causal torna a supervisão ambígua.
Para os autores, a representação precisa ser reutilizável no sentido funcional. Diferentes históricos que levam a respostas diferentes devem permanecer distinguíveis, mesmo que o estado fique distribuído pelos parâmetros do modelo.
O ChronoReplay não adiciona módulo de memória nem nova anotação. Ele muda a construção dos episódios de treino e a forma de combiná-los.
Contexto: qual problema está sendo atacado
Benchmarks de streaming espacial, como OVO-S-Bench, OST-Bench e UCS-Bench, estendem testes de raciocínio espacial para fluxos causais, com perguntas categóricas, contínuas e dependentes de timestamp. O modelo vê apenas o que foi observado antes da pergunta.
Precisa associar objetos entre vistas, acumular o movimento do observador e recuperar relações em referenciais que mudam.
A literatura recente avança por dois caminhos. Um é arquitetural: memórias visuais, cachês limitados, fast weights, mapas e grafos de cena.
Outro é de dados: pós-treinamento de VLMs com instruções espaciais. Segundo Hu e colegas, ambos os caminhos normalmente avaliam uma interface por vez.
Receitas que misturam perguntas qualitativas e métricas costumam usar imagens únicas, não um histórico causal contínuo. Com isso, fica sem resposta se um mesmo modelo consegue servir consultas categóricas, métricas e temporais sobre a mesma história.
O paper também dialoga com a literatura de multitarefa. Quais distinções uma representação compartilhada preserva quando objetivos competem pelos mesmos parâmetros, como balancear perdas e o que o fine-tuning em uma distribuição apaga de outra.
A novidade aqui é aplicar essas perguntas ao formato de resposta e à ordem cronológica dos episódios de supervisão espacial.
Como funciona
O ChronoReplay tem duas partes. A primeira é a construção de replay causal.
Cada alvo é mantido no espaço de valores da interface de origem. Opções categóricas preservam a estrutura de candidatos.
Alvos métricos preservam magnitude, sinal, unidades e precisão de anotação. Alvos temporais preservam timestamps, índices de evento e quantidades relativas a transições.
A informação de referencial fica acoplada à pergunta. Todos os alvos são emitidos pelo decodificador autoregressivo original.
Depois, a supervisão de um episódio é colocada no eixo de tempo do vídeo e reproduzida na ordem original. Cada alvo é anexado ao prefixo causal legal em que vale.
Em vez de achatar anotações de múltiplas rodadas em pares pergunta-resposta independentes, os autores mantêm a ordem da fonte e a história de condicionamento usada na avaliação de streaming. Os prefixos são aninhados.
Um episódio gera estados supervisionados que compartilham uma origem e crescem em comprimento. Assim, o modelo treina a acumulação, como um deslocamento ou uma ordem de eventos muda de turno para turno, não instantâneos isolados.
A trajetória de estados permanece implícita no VLM, sem mapa, módulo de memória ou perda auxiliar de estado.
A segunda parte é o aprendizado balanceado por família. A família de preservação tem 33.180 exemplos de turno único, sendo 30.635 categóricos e 2.545 numéricos.
A família de trajetória tem 6.381 episódios ordenados, somando 45.006 turnos supervisionados de métrica, contagem, julgamento e tempo. Contar linhas brutas deixaria uma família dominar os parâmetros compartilhados e reproduziria o lock-in dentro do treino conjunto.
Por isso, os autores normalizam o risco dentro de cada família e definem explicitamente a proporção entre elas, em vez de aprendê-la. O objetivo combina os riscos normalizados com um peso que controla a massa da perda de trajetória em relação à de preservação.
Há ainda um componente de inferência. A seleção adaptativa de quadros muda o acesso à evidência mantendo o modelo treinado fixo.
Os autores a tratam como um fator separado, que adiciona ganho em tempo de inferência com custo visual menor. A página do projeto, ChronoReplay, documenta a implementação e os experimentos.
Resultados reportados
Sob o mesmo acesso de observação, um único checkpoint ChronoReplay melhora os três benchmarks juntos. São +13,41 pontos no OST-Bench, +7,44 no UCS-Bench e +4,91 no OVO-S-Bench.
Os autores destacam que o resultado no OVO-S é numericamente comparável ao de uma referência publicada de 235 bilhões de parâmetros. A média dos três benchmarks é a mais alta entre as configurações de supervisão comparadas.
Os controles com os mesmos dados separam ingredientes do ganho. A serialização das respostas redistribui os ganhos entre OST e UCS.
O aprendizado balanceado por família supera o SFT conjunto ordinário e a ponderação natural por turno. O replay cronológico supera um controle com ordem deslocada em cerca de 2,41 pontos no OST, considerando dois seeds pareados.
Esse controle altera a ordem e o contexto precedente, mantendo cada bloco de turno e sua supervisão local. Para os autores, ele testa a regra de construção como um todo, não uma representação latente específica de origem.
O paper também relata um trade-off dependente de tarefa no formato de resposta. O controle entre alvos nativos e canônicos muda a serialização de saída sem perder conteúdo e encontra efeitos cruzados entre OST e UCS.
Isso sustenta a tese de que o formato pelo qual o modelo responde altera o que ele parece saber.
Limitações e o que não foi provado
O ChronoReplay não propõe um novo mecanismo de memória. A avaliação cobre cenas indoor.
Outros ambientes, como exterior, navegação de longa distância ou robótica de campo, não foram testados. Os próprios autores reconhecem que diferenças de cobertura de fonte e de tarefa limitam a atribuição dos ganhos apenas ao formato de resposta.
O controle de ordem deslocada demonstra um benefício repetível do replay cronológico, mas não identifica qual representação latente de origem o modelo aprende.
Também não está provado que o formato nativo seja uniformemente superior. Os autores descrevem essa escolha como uma decisão de projeto para preservar a semântica da tarefa de origem, não como uma alegação geral.
O resultado no OVO-S é "numericamente comparável" a uma referência de 235B, não uma vitória declarada. E o equilíbrio entre famílias é uma proporção definida explicitamente.
O paper não demonstra que essa proporção seja ótima para outros domínios ou outros conjuntos de benchmarks.
A avaliação usa três benchmarks com formatos de resposta distintos. É evidência relevante para a tese de lock-in de interface, mas não esgota o espaço de tarefas espaciais.
A transferência para cargas reais de robótica, com latência, ruído de sensores e mapas dinâmicos, permanece uma questão em aberto.
Por que isso importa para quem constrói com IA
Para quem desenvolve agentes que operam em vídeo contínuo, a lição prática é que o formato de supervisão não é neutro. Um modelo pode parecer bom em responder "esquerda ou direita" e falhar em estimar distância ou recuperar o momento em que um objeto foi visto.
Se o produto depende de múltiplas leituras espaciais sobre a mesma história, treinar e avaliar apenas uma interface pode esconder regressões nas outras.
O paper sugere que parte do problema é de dados e de ordenação, não necessariamente de arquitetura. Manter alvos no formato nativo, equilibrar famílias de tarefas e preservar o prefixo causal sob o qual cada alvo é válido são decisões que podem ser implementadas em pipelines de pós-treinamento existentes.
A seleção adaptativa de quadros na inferência também interessa a sistemas com orçamento visual limitado, porque separa o custo de evidência do custo de treino.
A ressalva é tratar os resultados como afirmações dos autores, não como receita universal. O trabalho é um argumento forte de que benchmarks de interface única podem medir especialização, não competência espacial reutilizável.
Para equipes que constroem robôs domésticos, assistentes de vídeo ou agentes de inspeção, a pergunta central passa a ser quais distinções a supervisão preserva e qual evidência causal a inferência torna disponível no momento da resposta.
Referências
- HU, Yihao; LIN, Yitong; WANG, Pan; WEN, Zhihao; WANG, Hang; ZHAO, Yiwen; LIU, Deyuan; LI, Yutong; WAN, Mingda; MAO, Yuchen; LIN, Tao. ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence. arXiv:2610.34283, 2026. Disponível em: https://arxiv.org/abs/2610.34283.
- Página do projeto ChronoReplay: https://yihaohu0118.github.io/ChronoReplay/.
- Benchmarks citados pelos autores: OVO-S-Bench, OST-Bench e UCS-Bench.
