Um grupo de pesquisadores liderado por Zhiyuan Shi afirma ter identificado o S-Space. É um subespaço linear tridimensional nas representações internas de modelos multimodais de linguagem (MLLMs).
Nesse subespaço ficam codificadas coordenadas contínuas de objetos ao longo de eixos horizontais, verticais e de distância. O grupo inclui Xiang Li, Xingzhuo Guo, Shangchen Miao, Weiliang Chen, Qiyu Dai, Jinshan Ren, Jiangran Lyu, Fangfu Liu, Mingsheng Long e Jialong Wu.
Segundo os autores, o subespaço funciona como um espaço de trabalho espacial interno. A percepção escreve nele, o raciocínio o transforma quando o ponto de vista muda e a resposta verbal o consulta de forma seletiva.
O trabalho está no arXiv 2610.13527 e tem página de projeto.
O que os autores propõem
A proposta central é que exista, dentro de um MLLM, uma estrutura geométrica estável e legível. Não um artefato de um prompt específico.
Os autores elencam três contribuições. A primeira é identificar e caracterizar, segundo eles pela primeira vez, um espaço de trabalho espacial interno em MLLMs, descrevendo como informação espacial é codificada, atualizada e usada de forma causal.
A segunda é um método simples baseado em gradientes para localizar esse subespaço. Ele permite leituras contínuas e generalizáveis de coordenadas ao longo de direções espaciais fixas.
A terceira é transformar o S-Space em ferramenta de diagnóstico. Como ele separa a percepção espacial do cálculo que vem depois, é possível apontar onde exatamente o modelo falha.
Os autores tratam o S-Space como uma hipótese de representação linear. É análoga à ideia, já difundida na literatura de interpretabilidade, de que modelos de linguagem representam conceitos de forma aproximadamente linear em suas ativações.
Contexto: qual problema está sendo atacado
MLLMs avançaram rápido em "inteligência espacial", com aplicações em reconstrução, planejamento, navegação e manipulação no mundo físico. Ainda assim, raciocínio espacial robusto segue sendo um desafio, com lacunas de desempenho substanciais em tarefas que humanos resolvem sem esforço.
O ponto dos autores é metodológico. Olhar apenas para respostas e ações externas revela pouco sobre onde a falha nasce.
As representações e mecanismos internos permanecem mal compreendidos e subdiagnosticados.
A inspiração declarada vem da cognição visual humana, onde existe um espaço mental no qual representações internas são mantidas e manipuladas.
Trabalhos anteriores já exploraram codificações espaciais e vieses representacionais em MLLMs. Segundo os autores, faltava uma explicação simples e unificada de como a informação espacial é codificada, transformada e finalmente usada para produzir respostas.
Como funciona
A formulação parte de uma hipótese. As coordenadas espaciais de um objeto, definidas em um referencial centrado no observador (egocêntrico), estariam codificadas linearmente na representação oculta do token de nome do objeto.
Quando o nome tem vários tokens, usa-se o último.
O S-Space é então definido como um subespaço linear tridimensional das representações ocultas. Ele é específico de um modelo e de uma camada, mas compartilhado por todas as posições de token dentro daquela camada.
Os autores buscam esse subespaço nas camadas intermediárias. As iniciais ficam relativamente ancoradas às representações de entrada, e as finais vão se alinhando à predição do próximo token, ou seja, à produção da resposta verbal.
A identificação das três direções (horizontal, vertical e distância) é feita diferenciando as respostas do modelo a perguntas espaciais relativas com respeito às ativações dos tokens dos objetos.
Cada exemplo traz uma imagem e um prompt que compara um objeto de consulta com um objeto de referência ao longo de um eixo, algo como "a maçã está à esquerda ou à direita da xícara?". Para cada eixo define-se um contraste de resposta, a diferença entre logits dos dois extremos.
O gradiente resultante indica a direção em que perturbar a representação do objeto mais aumentaria esse contraste. Os autores então formam uma diferença de gradientes antissimétrica em relação ao papel de cada objeto.
Depois tiram a média sobre modelos de prompt, ordens original e trocada dos objetos e exemplos.
Duas intuições sustentam a conta. Primeiro, julgamentos relativos tratam consulta e referência de forma oposta: uma mudança que empurra a consulta para a direita deveria favorecer "direita", e a mesma mudança na referência deveria favorecer "esquerda".
A diferença antissimétrica reforça isso.
Segundo, efeitos ligados à identidade do objeto, à formulação do prompt, ao papel dos tokens ou ao contexto da cena não se cancelam em um exemplo isolado. Mas tendem a se cancelar na média.
Os vetores unitários resultantes definem os três eixos.
A leitura, uma vez identificados os eixos, exige apenas um forward pass. Basta projetar cada token de objeto para obter sua coordenada.
Não é necessário o modelo verbalizar nada.
Para uma pergunta relativa, comparam-se as coordenadas de consulta e referência no eixo perguntado. O sinal da margem seleciona o extremo (direita, acima ou perto versus esquerda, abaixo ou longe).
Resultados reportados
Os autores identificam o S-Space em três modelos: Molmo2-ER, Qwen3.5-4B e Qwen3.6-27B. Usam perguntas espaciais relativas construídas a partir do dataset COCO.
A avaliação da leitura é feita em CV-Bench, EmbSpatial (incluindo EmbSpatial-Bench) e SpatialTunnel. Ou seja, também fora da distribuição usada na identificação.
Em precisão, as coordenadas projetadas correlacionam-se fortemente com posições reais, tanto para objetos individuais quanto para diferenças de pares, nos três eixos. Responder perguntas espaciais usando apenas as coordenadas lidas atinge acurácia comparável às respostas verbais diretas dos modelos, com generalização para os benchmarks citados.
Em causalidade, o teste é editar as coordenadas no S-Space. Os valores modificados são escritos de volta nas representações ocultas e a geração é retomada, mantendo imagem, pergunta e demais componentes intactos.
As intervenções alteram substancialmente os julgamentos espaciais em comparação com edições aleatórias. A exceção apontada é a de deslocamentos comuns: quando ambos os objetos se movem juntos, a posição relativa se preserva e o julgamento permanece.
Ao mesmo tempo, os mesmos ajustes quase não afetam julgamentos não espaciais, como cor, o que sugere seletividade.
Em persistência, os autores substituem os prompts de comparação relativa por perguntas sobre um único objeto e até por perguntas sobre cor. As coordenadas continuam sustentando julgamentos espaciais precisos.
É indício, segundo eles, de que o S-Space é uma organização intrínseca das representações, e não um artefato de dataset, template ou formato de pergunta.
Os estudos de caso mostram o espaço de trabalho extrapolando objetos visíveis. O token de uma bola não visível aparece na direção do mergulho de um goleiro.
O token abstrato "you" projeta-se para a extremidade próxima do eixo de distância.
Mantendo fixa a imagem de um robô de entrega e trocando "moving past you" por "moving toward you", o token "you" desloca-se para mais perto, enquanto a coordenada do robô quase não muda. Conceitos abstratos também ocupam o eixo horizontal: "socialist" projeta-se para a esquerda e "conservative" para a direita.
A análise final usa o S-Space como diagnóstico. Leituras de palavras de direção revelam acoplamento sistemático entre referenciais cardeais e relativos à imagem.
Um oráculo que transforma as coordenadas do S-Space mostra que a informação espacial codificada sustenta respostas corretas mesmo quando o modelo não as gera. A decomposição entre percepção e computação expõe o gargalo: os MLLMs conseguem formar representações espaciais capazes, mas falham nas transformações necessárias para raciocinar de forma confiável quando o ponto de vista muda.
Limitações e o que não foi provado
Os próprios autores delimitam o alcance. Para os eixos horizontal e vertical, usam coordenadas no plano da imagem, sem separar explicitamente efeitos de perspectiva dependentes de profundidade.
Essas coordenadas projetadas bastam para a maioria das perguntas consideradas, mas não são coordenadas de mundo.
O referencial centrado no observador também não é fixo. Pode ser guiado pelo contexto e progressivamente reorientado ao longo de um raciocínio em cadeia, o que complica tratar o S-Space como um sistema de coordenadas estável.
O S-Space é específico de modelo e de camada, e a identificação depende da hipótese de linearidade. Se parte da informação espacial estiver codificada de forma não linear, uma projeção linear pode simplesmente não enxergá-la.
O método mede o que consegue ler, e o paper não demonstra ausência do resto.
A escolha das camadas intermediárias é justificada por análise empírica, não por um argumento definitivo de que ali esteja "o" espaço de trabalho.
Os estudos de caso são ilustrativos, não sistemáticos. Os exemplos de "you" e de "socialist"/"conservative" mostram que o espaço mistura geometria física e significado linguístico abstrato.
Os autores leem isso como capacidade e limitação do treinamento em larga escala com linguagem, não como acerto controlado.
O trabalho é diagnóstico. Ele isola o gargalo de transformação sob mudança de ponto de vista, mas o material não apresenta um método que corrija esse déficit.
Editar o S-Space é uma ferramenta de análise causal, não uma solução de treinamento.
Por que isso importa para quem constrói com IA
Para equipes que desenvolvem agentes espaciais, robótica ou automação de interfaces, o recado prático é que acurácia ponta a ponta é uma métrica pobre. Um sistema pode ter a informação correta dentro de si e ainda assim errar a resposta, porque o gargalo está na etapa de transformação, por exemplo ao converter entre referenciais quando o observador muda.
Avaliações que só olham a resposta final não distinguem esses dois mundos.
A consequência é que vale instrumentar a camada de percepção separadamente. Ler coordenadas de objetos a partir de ativações internas dá um sinal barato e independente da verbalização.
É útil para depurar erros de esquerda/direita, para auditar confusão de referenciais e para detectar quando o modelo "sabe" mas não "conclui".
O acoplamento sistemático entre referenciais cardeais e relativos à imagem, apontado pelos autores, é um modo de falha concreto que aparece em produtos reais. Vai de assistentes que descrevem cenas a agentes que seguem instruções de deslocamento.
Há também um valor indireto para quem treina ou ajusta modelos. Se representações espaciais já emergem sem supervisão explícita de coordenadas, apenas pela pressão de prever linguagem espacial, então talvez não seja preciso ensinar o modelo a "ver" posições, e sim a manipulá-las.
Isso desloca o esforço de coleta de dados para desenho de tarefas que exijam transformação de ponto de vista. É uma hipótese dos autores, não um resultado fechado, mas é uma direção razoável para quem decide onde investir.
Referências
SHI, Zhiyuan; LI, Xiang; GUO, Xingzhuo; MIAO, Shangchen; CHEN, Weiliang; DAI, Qiyu; REN, Jinshan; LYU, Jiangran; LIU, Fangfu; LONG, Mingsheng; WU, Jialong. S-Space: Exploring Spatial Workspace in Multimodal Language Models. arXiv:2610.13527, cs.CV. Disponível em: https://arxiv.org/abs/2610.13527.
Página do projeto: https://mirros.ai/blog/s-space.
Datasets e benchmarks mencionados no material: COCO, CV-Bench, EmbSpatial / EmbSpatial-Bench e SpatialTunnel.
