Um modelo de 8 bilhões de parâmetros que enxerga, raciocina e desenha sem encoder visual e sem VAE. É assim que Haiwen Diao, Jiahao Wang e dezenas de coautores apresentam o SenseNova-U1.5, novo marco da linha SenseNova-U.
O paper troca a decodificação independente de patches por uma reconstrução espacialmente conjunta. Substitui a otimização conjunta de recompensas por uma estratégia de especializar para depois unificar.
O resultado alegado é geração nativa em resoluções de até 4K, com menos costuras, melhor fidelidade e melhor aderência a instruções.
O que os autores propõem
Segundo o preprint disponível no arXiv (2609.11929), o SenseNova-U1.5 é um modelo multimodal unificado nativo de 8B baseado em Mixture-of-Transformers (MoT), sem encoder visual (VE) e sem VAE.
Ele dá continuidade ao SenseNova-U1 e à arquitetura NEO-unify, que demonstraram a viabilidade de aprender diretamente de pixels e palavras. A versão anterior mantinha uma interface visual deliberadamente leve: cada token visual era reconstruído como um patch RGB independente.
Haiwen Diao e coautores propõem duas mudanças arquiteturais principais. A primeira é sair da predição independente de patches para uma reconstrução espacialmente conjunta.
Os tokens são projetados em um campo de features bidimensional e a imagem é reconstruída progressivamente por convoluções espaciais e Pixel Shuffle. Isso permite que regiões vizinhas troquem informação antes da definição final dos pixels.
A segunda é a estratégia de especializar e depois unificar. Em vez de otimizar objetivos concorrentes em uma única política, os autores treinam especialistas de aprendizado por reforço (RL) dedicados a quatro capacidades: estética visual, renderização de texto bilíngue, geração de infográficos e edição de imagem.
Depois consolidam seus ganhos em uma única política por meio de destilação on-policy multi-especialista.
Eles também anunciam a abertura do código de treinamento, incluindo fine-tuning supervisionado, RL e destilação on-policy, na página do projeto.
Contexto: qual problema está sendo atacado
A geração visual deixou de ser apenas síntese de imagens. Passou a cobrir tipografia multilíngue, design com muita informação, renderização em alta resolução, composição com múltiplas referências, edição fina de objeto e fundo, além de geração intercalada.
Esse escopo maior expõe uma divisão arquitetural fundamental. A maioria dos sistemas percebe imagens por meio de encoders visuais pré-treinados, mas as gera por meio de autoencoders variacionais (VAEs).
Compreensão e geração passam a operar em espaços representacionais distintos. Um é otimizado para abstração semântica, outro para fidelidade em nível de pixel.
Os autores argumentam que essa separação limita a coordenação entre percepção, raciocínio e geração dentro de um mesmo framework. O caminho alternativo, a modelagem unificada nativa, já vinha sendo explorado em duas frentes.
De um lado, modelos de linguagem-visão nativos como Fuyu-8B, EVE, Mono-InternVL, NEO, Gemma4-12B e Inkling. De outro, modelos de geração que operam diretamente em pixels.
No campo unificado, abordagens discretas unificam o aprendizado por autoregressão em nível de token. Abordagens contínuas dispensam tokenizers explícitos ou gargalos latentes.
O problema específico herdado do SenseNova-U1 é de qualidade em alta resolução. Fatorar cada token visual em um patch independente impede a troca de informação entre patches vizinhos no estágio final da formação da imagem.
Isso se manifesta como costuras, descontinuidades de textura e inconsistências geométricas, problemas que se agravam conforme a resolução cresce.
Como funciona
A interface visual continua leve e quase sem perdas. Duas projeções convolucionais com ativações GELU reduzem a entrada, produzindo um token visual por região da imagem, sem encoder externo nem VAE.
Embeddings posicionais senoidais 2D preservam coordenadas espaciais, tokens especiais delimitam blocos visuais e o texto usa o tokenizer de linguagem original. Representações visuais e textuais são projetadas em um espaço oculto compartilhado e processadas juntas pelo backbone unificado.
A mudança central de arquitetura está no decodificador. No lugar do cabeçalho MLP original, os autores restauram a topologia 2D dos estados ocultos e reconstroem a imagem em resolução plena por meio de estágios de Pixel Shuffle, com convoluções entre estágios sucessivos.
Assim, pixels próximos às fronteiras de patch são determinados conjuntamente, e não isoladamente. O decodificador é treinado com o backbone sob objetivo de flow matching, com custo computacional adicional modesto segundo os autores.
É o que viabiliza geração nativa em até 4K.
Há ainda um detalhe de condicionamento. Como a magnitude efetiva de ruído varia com a resolução, os autores incorporam um embedding de escala de ruído dependente da resolução, normalizado por uma resolução de referência que foi estendida para 4K em relação à versão anterior.
Esse embedding é combinado ao do timestep de difusão, dando ao denoiser consciência explícita do tempo de difusão e das estatísticas de ruído associadas à resolução.
O backbone mantém o padrão MoT. Contexto imagem-texto limpo e estados visuais condicionados por ruído são intercalados em uma única sequência, com atenção em padrão estruturado.
Tokens de texto são causais. Tokens dentro de cada bloco de imagem limpa interagem bidirecionalmente.
Tokens de geração condicionados por ruído também são bidirecionais dentro do bloco e atendem a todo o contexto multimodal limpo precedente.
O resultado é que a geração pode se apoiar continuamente em representações formadas durante a compreensão, sem módulos de fusão auxiliares.
No pós-treinamento, os autores adotam RL dependente de tarefa, combinando amostragem coefficients-preserving (CPS) ou Precise com recompensas intercaladas ou específicas de tarefa. Apoiam-se no repertório da literatura recente: PPO, GRPO e DAPO para otimização, Flow-GRPO e DanceGRPO para difusão e flow matching, com rollouts via equações diferenciais estocásticas (SDE) para permitir exploração, e GRPO-Guard para mitigar sobre-otimização de recompensa.
Na consolidação, mantêm quatro experts externos especializados e roteiam rigidamente sua supervisão para o modelo nativo em espaço de pixels, distilando sobre as trajetórias geradas pelo próprio aluno. A abordagem se alinha à destilação on-policy multi-professor (MOPD) e à família Flow-OPD, DiffusionOPD e DanceOPD.
Resultados reportados
Os autores afirmam que, em avaliações extensas, o SenseNova-U1.5 avança de forma ampla em fidelidade de imagem, renderização de texto, composição complexa, edição com múltiplas referências e geração intercalada. Também melhora a aderência a instruções e preserva identidade do sujeito, geometria e regiões não modificadas.
Sustentam ainda que, apesar da exposição limitada a formatos estruturados nos dados de geração, o modelo generaliza bem para instruções visuais longas, complexas e estruturadas. É evidência, na leitura deles, de que a compreensão multimodal transfere para planejamento e criação visual.
Dois pontos merecem destaque para leitores técnicos. O primeiro é a compressão: mesmo condensando cada região de pixels em um único token visual, a representação compacta sustentaria inferência eficiente e bom desempenho em tarefas variadas.
O segundo é a unificação de substrato. Uma única representação visual nativa serviria como base compartilhada para compreensão, raciocínio, geração e edição, eliminando caminhos visuais paralelos e conversões repetidas entre features de encoder e latentes de VAE.
Os autores enquadram esses achados como indicação de que a unificação nativa é mais do que simplificação arquitetural.
Limitações e o que não foi provado
O material disponível é o resumo e trechos de introdução, método e trabalhos relacionados. Não há tabelas de resultados nem seção de limitações acessível.
Consequência prática: não há um único número de benchmark, nome de conjunto de avaliação, margem sobre baseline ou comparação direta com modelos modulares. Todas as melhorias descritas são afirmações qualitativas dos autores, não medidas que possamos verificar aqui.
Menos costuras, melhor tipografia, mais fidelidade em 4K.
Alguns pontos permanecem em aberto. A generalização para instruções estruturadas é atribuída à transferência de capacidades de compreensão e raciocínio, mas os autores não isolam o mecanismo causal que produziria essa transferência.
Sem experimentos de ablação descritos no material, a explicação permanece plausível, não demonstrada.
O ganho de coerência espacial depende do novo decodificador com Pixel Shuffle, mas o custo real desse decodificador em latência e memória em 4K não é quantificado no trecho disponível. Os autores só o descrevem como "modesto".
A destilação on-policy com roteamento rígido de quatro experts introduz dependência de um pipeline de treinamento consideravelmente mais complexo, cujos custos e sensibilidade a hiperparâmetros não são detalhados.
O uso de RL com recompensas específicas de tarefa levanta o risco conhecido de sobre-otimização de recompensa, que os próprios autores citam ao mencionar GRPO-Guard. Não há evidência no material sobre como esse risco se comporta na prática neste modelo.
O compromisso de abertura anunciado cobre o código de treinamento. Pesos, licença e condições de uso não são especificados.
O material também não discute riscos de uso indevido de um gerador de imagens de alta fidelidade com edição multi-referência e preservação de identidade.
Por que isso importa para quem constrói com IA
Para equipes que montam produtos com IA generativa, a proposta mais relevante não é o número de parâmetros. É a eliminação de duas peças tradicionais do pipeline: o encoder visual e o VAE.
Menos componentes significa menos pontos de conversão entre espaços de representação. Significa menos divergência entre o que o modelo "entende" de uma imagem e o que ele consegue "reproduzir" dela.
E uma arquitetura mais simples de versionar e servir.
As capacidades destacadas pelos autores mapeiam diretamente em casos de uso reais. Edição com múltiplas referências e preservação de identidade é requisito básico de ferramentas de criação de conteúdo e de catálogo.
Renderização de texto bilíngue é o que permite gerar peças gráficas com texto em português sem retrabalho. Geração de infográficos e obediência a instruções longas e estruturadas é o que um agente precisa para produzir diagramas e apresentações a partir de especificações.
Se a unificação nativa realmente permite que capacidades de compreensão reforcem a criação visual, isso sugere uma rota de projeto em que melhorar o entendimento do modelo melhora também sua geração. Hoje isso costuma exigir esforço separado em cada lado.
A ressalva é metodológica. Como o material não traz números, qualquer decisão de adoção deveria começar por uma avaliação própria, com o conjunto de tarefas da sua aplicação e comparação contra um baseline modular.
Vale acompanhar o que for efetivamente aberto. Código de treinamento é útil, mas sem pesos e licença claros o caminho para produção continua incerto.
A receita de RL por tarefa seguida de destilação on-policy multi-especialista, por outro lado, é transferível conceitualmente mesmo para quem não for usar este modelo.
Referências
- DIAO, Haiwen; WANG, Jiahao; DING, Chenjing; et al. SenseNova-U1.5: Towards Native Unified Visual Intelligence. arXiv:2609.11929, cs.CV, 2026. Disponível em: https://arxiv.org/abs/2609.11929
- OpenSenseNova. Página do projeto SenseNova-U1. Disponível em: https://github.com/OpenSenseNova/SenseNova-U1
- Trabalhos citados pelos autores como base direta: NEO e NEO-unify (interface visual nativa e arquitetura unificada), SenseNova-U1 (modelo predecessor da mesma linha).
- Trabalhos citados em RL para geração visual: PPO, GRPO, DAPO, ReFL, DDPO, DPOK, AlignProp, D3PO, Flow-GRPO, DanceGRPO, CPS, Precise e GRPO-Guard.
- Trabalhos citados em destilação on-policy: MOPD, Flow-OPD, DiffusionOPD, DanceOPD e DiffusionOPSD.
- Outros modelos nativos mencionados: Fuyu-8B, EVE, Mono-InternVL, Gemma4-12B e Inkling.
