Um modelo de mundo para interfaces gráficas não precisa desenhar a próxima tela. Basta prever como essa tela seria codificada.
É a aposta de Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu e Wei Yang Bryan Lim em "Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents" (arXiv 2610.11942).
Os autores defendem que a segurança de agentes que operam interfaces é uma propriedade da transição, não da tela. Apresentam o LGWM, um modelo de mundo latente que reduz a verificação a uma comparação de vetores.
São 0,987 de AUC no benchmark diagnóstico RSWT-Bench, a 17 ms por decisão, sem nenhum treino específico para detectar ataques.
O que os autores propõem
O artigo faz quatro afirmações encadeadas. A primeira é conceitual: modelos de mundo aplicados a interfaces foram usados até aqui como simuladores (mostram futuros possíveis) ou planejadores (buscam sobre eles).
Deveriam ocupar um terceiro papel, o de verificadores, para checar o futuro que de fato chegou.
A segunda é arquitetural: para verificar sem um juiz externo, o modelo deve prever no mesmo espaço em que as observações são codificadas. Não em texto, código ou pixels.
A terceira é metodológica: o resíduo entre futuro previsto e futuro observado carrega duas informações distintas. A magnitude indica se a transição contrariou a dinâmica aprendida.
A direção indica o que a violação significou.
A quarta é experimental: um benchmark construído para tornar a detecção por tela provadamente inútil, o RSWT-Bench. Nele, cada tela de credencial aparece uma vez como desfecho legítimo e uma vez, pixel a pixel idêntica, como desfecho sequestrado.
Contexto: qual problema está sendo atacado
Agentes que operam interfaces agem sobre software de terceiros: aplicativos, páginas web, anúncios. A honestidade desse software não pode ser presumida.
Os autores citam uma linha recente de trabalhos sobre ataques que redirecionam o que acontece depois de uma ação mantendo cada tela individualmente plausível.
O exemplo que abre o paper é exato. Uma tela de login é banal depois de um toque em "Entrar" e é um ataque em andamento depois de um toque em "Ver pedido".
Nada na tela distingue os dois casos. O que difere é a transição que a produziu.
Logo, qualquer monitor que inspecione apenas telas pode ser derrotado reutilizando uma tela legítima.
Julgar uma transição exige uma expectativa do que deveria ter acontecido. É isso que um modelo de mundo fornece.
O problema, argumentam os autores, é o formato da saída dos modelos de mundo para GUI existentes: texto, árvore DOM, código executável ou imagem renderizada.
Comparar esse artefato com o screenshot observado é um julgamento, não uma operação. E o julgamento recai sobre um segundo modelo que também precisa ser confiável.
"Um verificador que precisa de um juiz apenas moveu o problema", escrevem. O custo segue a mesma lógica: segundo o paper, modelos de mundo generativos para GUI levam de um a dois minutos por transição antes de o juiz rodar.
Como funciona
O LGWM é deliberadamente convencional em arquitetura. Um encoder online, DINOv2 ViT-B/14, ajustado com decaimento de learning rate por camada, mapeia o screenshot atual em 512 tokens de patch de dimensão 768.
Um codificador de ações combina três peças. Um token aprendido de tipo de ação, um embedding de frase do MiniLM congelado para o texto associado e, para ações espacialmente ancoradas, um token de coordenada retirado da mesma base senoidal bidimensional usada na grade de patches visual.
O ponto é que um toque em (x, y) e o patch centrado em (x, y) entram no preditor com a mesma codificação posicional. Não por dois sistemas de coordenadas sem relação.
Um Transformer de 12 camadas prediz, então, o mapa espacial completo da representação da próxima tela.
O alvo vem de uma cópia EMA do encoder, com stop-gradient. O treino é totalmente autossupervisionado, sobre 1,85 milhão de transições reais de GUI provenientes de cinco fontes públicas.
Essas fontes cobrem aplicativos móveis, interfaces web e navegação entre apps.
Transições de GUI são esparsas: um toque muda um toggle ou troca a página inteira. Uma perda uniforme sobre os 512 tokens seria dominada pelo trabalho fácil de reproduzir o fundo estático.
Os autores calculam uma máscara binária de mudança a partir de cada par de imagens e sobem o peso da região alterada na perda Smooth-L1.
Dois objetivos auxiliares protegem propriedades de que os leitores do resíduo dependem. Regularização de variância e covariância contra colapso de representação.
E uma cabeça de dinâmica inversa que mantém o espaço informativo sobre a ação causal. Depois de 30 mil atualizações, parte dos lotes passa a usar rollouts de dois ou três passos, realimentando a própria saída do preditor.
Na inferência executam apenas o encoder online, o codificador de ações e o preditor: 172,86M parâmetros de um grafo de treino de 261M. O escore de consistência de transição é o gap de alinhamento entre futuro previsto e futuro observado, ou seja, uma similaridade de cosseno.
Não usa exemplos rotulados de comportamento seguro ou inseguro, nem ajuste específico de ataque. A interpretação do dano vem da direção do resíduo, lida por uma cabeça linear condicionada ao embedding da ação.
É o único componente supervisionado do sistema.
Resultados reportados
No RSWT-Bench, com 222 pares doador-pareados, qualquer detector que dependa só da tela tem AUC esperada de exatamente 0,5 por construção. O escore sem treino do LGWM chega a 0,987 de AUC.
Os autores descrevem esse número como equivalente aos VLMs fechados mais fortes que testaram, Gemini 3.7 Flash e GPT-5.6 Luna.
O resultado fica cerca de dez pontos de AUC acima dos modelos de mundo generativos para GUI (gWorld, Code2World), com mais de três ordens de magnitude menos latência. A cabeça sobre o resíduo separa violações nocivas de benignas a 0,953 de AUC.
Nessa faixa, os VLMs promptados ficam próximos do acaso. Diagnósticos de pré-treinamento, segundo o paper, indicam que a predição é um estado futuro utilizável, e não apenas um escore de anomalia.
A página do projeto está em jiamingzhang.netlify.app/lgwm.
Limitações e o que não foi provado
O RSWT-Bench é um diagnóstico controlado, não uma amostra de ataques reais em produção. São 222 pares construídos por doação, o que dá ao paper um controle experimental forte e, ao mesmo tempo, uma cobertura estreita.
Os números de latência (17 ms por decisão) e as comparações com VLMs fechados refletem a configuração dos autores. Dependem de prompts e de hardware não padronizados entre os concorrentes.
A separação entre violação nociva e benigna é o ponto mais frágil. É justamente a parte supervisionada, treinada com a cabeça linear.
O paper não demonstra como esse componente se comporta diante de tipos de violação ausentes do treino.
Também não há evidência, no material disponível, sobre taxas de falsos positivos em escala de produção. Nem sobre ataques que preservem a dinâmica normal da interface.
Nem sobre o desempenho quando o modelo de mundo encontra aplicativos fora das cinco fontes públicas usadas no pré-treinamento. Nada disso foi provado pelos autores.
São perguntas que o desenho do experimento deixa em aberto.
Por que isso importa para quem constrói com IA
A implicação prática mais direta é de custo. Se um monitor de runtime precisa chamar um VLM por passo para julgar se a tela observada faz sentido, agentes de GUI ficam caros e lentos demais para operar em ciclo fechado.
Reduzir a verificação a uma comparação vetorial de 17 ms muda a economia do problema e permite imaginar monitoramento em toda transição, e não em amostragem.
A segunda implicação é de projeto. Prever no espaço de representação, sem decodificador, não é uma economia de arquitetura.
É o que torna a checagem uma operação em vez de um julgamento. E o que permite que magnitude e direção do resíduo sejam lidas separadamente.
Há também uma lição de avaliação. Benchmarks que apresentam apenas telas ou passos isolados deixam um detector pontuar bem aprendendo "como é uma tela de risco".
O RSWT-Bench torna essa estratégia provadamente inútil ao colocar desfechos pixel-idênticos sob rótulos opostos.
Para quem constrói agentes sobre aplicativos bancários, portais públicos ou sistemas internos no Brasil, o argumento vale como alerta de método. Validar segurança de agente olhando a tela final é validar a coisa errada.
Trata-se, por ora, de uma afirmação dos autores em um benchmark diagnóstico, não de uma garantia operacional.
Referências
- ZHANG, Jiaming; WANG, Xuan; ZHANG, Fuyao; CAO, Yang; LYU, Lingjuan; LIM, Wei Yang Bryan. Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents. arXiv:2610.11942, 2026. Disponível em: https://arxiv.org/abs/2610.11942
- Página do projeto LGWM: https://jiamingzhang.netlify.app/lgwm/
- Trabalhos citados pelos autores como base técnica: DINOv2 (Oquab et al., 2024), I-JEPA (Assran et al., 2023), VICReg (Bardes et al., 2022), MiniLM (Wang et al., 2020) e os modelos de mundo generativos para GUI gWorld e Code2World.
