Gamer: modelo VLA generalista para jogos de longo horizonte

shape
shape
shape
shape
shape

Gamer: modelo VLA generalista para jogos de longo horizonte

Gamer: modelo VLA generalista para jogos de longo horizonte

Run Luo e colegas apresentam o Gamer, um framework de agente generalista. Ele combina percepção visual, memória e raciocínio multi-etapa para operar jogos a partir de pixels brutos e comandos nativos de teclado e mouse.

No paper no arXiv, os autores afirmam que pré-treinamento contínuo em dezenas de milhares de horas de interação produz generalização e eficiência operacional. O ajuste de instrução com raciocínio esparso e o aprendizado por reforço multi-turno completam o pipeline.

O resultado, dizem, é comparável ao de jogadores habilidosos em jogos 3D e competitivo em benchmarks 2D.

A tese central é que trajetórias repetitivas de teclado e mouse, quando escaladas com dados e algoritmos, podem sustentar habilidades complexas em ambientes digitais e físicos.

O que os autores propõem

O trabalho é assinado por Run Luo, Kuan Zhang, Qi Deng e um grupo extenso que inclui Shaoqing Ren. Os autores propõem um modelo vision-language-action (VLA) de propósito geral para tarefas de longo horizonte em ambientes interativos complexos. A arquitetura end-to-end integra percepção, gerenciamento de memória e raciocínio em múltiplas etapas.

Um pipeline único de treinamento e implantação atende interfaces gráficas 2D convencionais e mundos simulados 3D complexos.

A interface é deliberadamente não invasiva. O agente observa a tela e age por meio de teclado e mouse, sem depender de APIs internas, estados privilegiados ou espaços de ação sob medida.

Os autores organizam a contribuição em quatro frentes. A primeira é um framework generalista que usa imagens de tela como entrada e operações padrão de teclado e mouse como espaço de ação unificado.

A segunda é um pipeline escalável que transforma trajetórias de gameplay de múltiplas fontes em dados de instrução. A terceira é uma infraestrutura unificada de treinamento, avaliação e inferência em tempo real.

A quarta são resultados empíricos em jogos comerciais 3D e benchmarks 2D.

O paper trata esses resultados como evidência de que a escala de dados e algoritmos pode extrair habilidades complexas até de trajetórias repetitivas de controle.

Contexto: qual problema está sendo atacado

Modelos multimodais de linguagem estão migrando de processadores de entrada estática para agentes interativos. Modelos VLA aparecem como caminho promissor para inteligência artificial incorporada.

Mas o custo de tentativa e erro no mundo físico e a baixa controlabilidade dos ambientes reais dificultam avaliação e escala.

Jogos modernos surgem como testbed: combinam complexidade realista com controle experimental rigoroso. Diferentemente de jogos 2D tradicionais, interfaces web ou simuladores simplificados, jogos contemporâneos exigem interpretar cenas visuais complexas.

Exigem também navegar layouts 3D intricados e avançar missões em múltiplos estágios, com decisões estratégicas, gestão de recursos, observabilidade parcial e feedback atrasado. Tudo por ações finas de teclado e mouse.

Tarefas podem durar horas.

Honkai: Star Rail é citado como exemplo desse conjunto de exigências. O jogo tem exploração narrativa, combate por turnos, gestão de esquadrão, alocação de recursos e operação de UI em vários níveis, com objetivos aninhados e progressão de longo prazo.

Agentes anteriores alcançaram desempenho humano em Atari, Minecraft e StarCraft. Mas tipicamente com estados internos privilegiados, espaços de ação dedicados ou APIs específicas, o que generaliza mal.

Como jogos modernos raramente expõem esses acessos, um agente generalista precisaria operar como um humano. O paper também destaca a latência como gargalo.

Inferência lenta executa a ação depois que o estado observado mudou, gerando erros de controle, interações desnecessárias e falhas precoces. No RL online, rollouts atrasados aumentam o tempo de coleta e diluem o feedback da política.

Como funciona

A representação de observação-ação é unificada. Cada trajetória intercala observações de tela e ações nativas de teclado e mouse.

Para cada jogo, uma especificação de controles mapeia teclas e botões às suas funções lógicas. Essa especificação entra na entrada da política para que o modelo interprete o vocabulário compartilhado segundo os controles do jogo-alvo.

As observações são amostradas em intervalos fixos, e cada intervalo

Últimos Artigos

Gamer: modelo VLA generalista para jogos de longo horizonte
Robótica agêntica: o System 2 encarnado e seu roteiro de pesquisa
BirdDreams: vídeo em perspectiva e BEV gerados juntos para direção
WikiTrace: memória ligada à evidência reduz dano em agentes LLM