Run Luo e colegas apresentam o Gamer, um framework de agente generalista. Ele combina percepção visual, memória e raciocínio multi-etapa para operar jogos a partir de pixels brutos e comandos nativos de teclado e mouse.
No paper no arXiv, os autores afirmam que pré-treinamento contínuo em dezenas de milhares de horas de interação produz generalização e eficiência operacional. O ajuste de instrução com raciocínio esparso e o aprendizado por reforço multi-turno completam o pipeline.
O resultado, dizem, é comparável ao de jogadores habilidosos em jogos 3D e competitivo em benchmarks 2D.
A tese central é que trajetórias repetitivas de teclado e mouse, quando escaladas com dados e algoritmos, podem sustentar habilidades complexas em ambientes digitais e físicos.
O que os autores propõem
O trabalho é assinado por Run Luo, Kuan Zhang, Qi Deng e um grupo extenso que inclui Shaoqing Ren. Os autores propõem um modelo vision-language-action (VLA) de propósito geral para tarefas de longo horizonte em ambientes interativos complexos. A arquitetura end-to-end integra percepção, gerenciamento de memória e raciocínio em múltiplas etapas.
Um pipeline único de treinamento e implantação atende interfaces gráficas 2D convencionais e mundos simulados 3D complexos.
A interface é deliberadamente não invasiva. O agente observa a tela e age por meio de teclado e mouse, sem depender de APIs internas, estados privilegiados ou espaços de ação sob medida.
Os autores organizam a contribuição em quatro frentes. A primeira é um framework generalista que usa imagens de tela como entrada e operações padrão de teclado e mouse como espaço de ação unificado.
A segunda é um pipeline escalável que transforma trajetórias de gameplay de múltiplas fontes em dados de instrução. A terceira é uma infraestrutura unificada de treinamento, avaliação e inferência em tempo real.
A quarta são resultados empíricos em jogos comerciais 3D e benchmarks 2D.
O paper trata esses resultados como evidência de que a escala de dados e algoritmos pode extrair habilidades complexas até de trajetórias repetitivas de controle.
Contexto: qual problema está sendo atacado
Modelos multimodais de linguagem estão migrando de processadores de entrada estática para agentes interativos. Modelos VLA aparecem como caminho promissor para inteligência artificial incorporada.
Mas o custo de tentativa e erro no mundo físico e a baixa controlabilidade dos ambientes reais dificultam avaliação e escala.
Jogos modernos surgem como testbed: combinam complexidade realista com controle experimental rigoroso. Diferentemente de jogos 2D tradicionais, interfaces web ou simuladores simplificados, jogos contemporâneos exigem interpretar cenas visuais complexas.
Exigem também navegar layouts 3D intricados e avançar missões em múltiplos estágios, com decisões estratégicas, gestão de recursos, observabilidade parcial e feedback atrasado. Tudo por ações finas de teclado e mouse.
Tarefas podem durar horas.
Honkai: Star Rail é citado como exemplo desse conjunto de exigências. O jogo tem exploração narrativa, combate por turnos, gestão de esquadrão, alocação de recursos e operação de UI em vários níveis, com objetivos aninhados e progressão de longo prazo.
Agentes anteriores alcançaram desempenho humano em Atari, Minecraft e StarCraft. Mas tipicamente com estados internos privilegiados, espaços de ação dedicados ou APIs específicas, o que generaliza mal.
Como jogos modernos raramente expõem esses acessos, um agente generalista precisaria operar como um humano. O paper também destaca a latência como gargalo.
Inferência lenta executa a ação depois que o estado observado mudou, gerando erros de controle, interações desnecessárias e falhas precoces. No RL online, rollouts atrasados aumentam o tempo de coleta e diluem o feedback da política.
Como funciona
A representação de observação-ação é unificada. Cada trajetória intercala observações de tela e ações nativas de teclado e mouse.
Para cada jogo, uma especificação de controles mapeia teclas e botões às suas funções lógicas. Essa especificação entra na entrada da política para que o modelo interprete o vocabulário compartilhado segundo os controles do jogo-alvo.
As observações são amostradas em intervalos fixos, e cada intervalo




