O Intrinsic Distribution Matching (IDM) parte de uma pergunta modesta. Uma restrição explícita de momentos melhora a supervisão de score já usada na destilação por matching de distribuição?
O artigo termina com números competitivos em renderização de texto longo.
Deyuan Liu, Yansen Han, Kaiwen Zheng e colegas mantêm a correção completa do DMD. Acrescentam uma perda que iguala médias e desvios-padrão por coordenada nas features da cópia EMA do próprio gerador, sem encoder externo.
Com duas avaliações de rede (2 NFE), o método chega a 94,25% e 90,20% nos subsets chinês e inglês do LongText-Bench sobre o Z-Image-Turbo 6B.
O que os autores propõem
O trabalho está no arXiv, com página de projeto e código no GitHub. Faz três contribuições declaradas.
A primeira é uma supervisão distribucional "intrínseca". Além do DMD interno, há uma perda explícita sobre médias e desvios-padrão por coordenada das features extraídas da cópia EMA do gerador.
Isso dispensa um encoder de features separado.
A segunda é uma justificativa para essa escolha. Os autores decompõem o campo de score da KL reversa em uma componente gaussiana, determinada por médias e covariâncias, e um resíduo não gaussiano.
Identificam estatísticas que podem ser restringidas explicitamente. Explicam por que restringi-las não basta.
A terceira é a demonstração de treino com ajuste de todos os parâmetros e com LoRA em backbones de 6B e 20B. Há ablações controladas e avaliação no LongText-Bench.
Contexto: qual problema está sendo atacado
Modelos de difusão e de flow matching geram imagens de alta qualidade ao custo de muitas avaliações de rede. A geração em um ou poucos passos encurta esse processo.
Precisa preservar detalhes condicionais do prompt com pouquíssimas oportunidades de refinamento.
Texto longo é o teste extremo. Muitos caracteres precisam sair legíveis e corretos dentro de uma imagem coerente.
O DMD ataca isso aproximando a distribuição do gerador rápido de uma distribuição de referência por meio da diferença de scores. O score do professor pré-treinado fornece a referência.
O score da distribuição gerada costuma vir de uma rede "fake-score" separada, que precisa acompanhar um gerador em mudança.
TwinFlow e APEX mostram que essa diferença pode sair de ramos de velocidade internamente separados do próprio gerador. Isso elimina a rede auxiliar.
A pergunta de Liu e coautores é se o gerador também pode fornecer uma restrição estatística explícita. Estimativas aprendidas de score e treino finito deixam discrepâncias.
Um objetivo adicional de momentos pode reduzi-las.
Como funciona
O ponto de partida é a identidade score–velocidade. Para ruído e dado independentes, a velocidade marginal estimada também fornece uma estimativa de score no nível de ruído correspondente.
Subtrair duas velocidades no mesmo ponto dá uma diferença de score escalonada.
Seguindo o APEX, os autores separam os ramos de referência e de modelo negando o vetor de condição. O mesmo gerador produz ambos os ramos.
A diferença pontual entre eles alimenta a correção do DMD.
A novidade está no que se soma a isso. Partindo da representação de score "gaussiana mais resíduo" de Wang e Vastola, eles separam do campo da KL reversa a parcela que depende apenas de médias e covariâncias.
Duas distribuições podem compartilhar esses momentos e ainda assim ter formas diferentes. Isso deixa um resíduo não nulo.
O resíduo não corresponde a um momento de ordem superior específico, mas a toda a estrutura de score que sobra após subtrair a gaussiana casada.
A consequência prática é conservadora. Manter a correção completa do DMD e adicionar uma perda de momentos, em vez de substituí-la.
Essa perda opera no espaço de features do próprio gerador. A cópia EMA faz mean-pooling das ativações da última camada em um vetor por amostra.
Amostras geradas e de referência são comparadas nesse espaço, com a construção de ruído em níveis altos.
O mesmo ajuste define alvos de velocidade e de endpoint. A correção do DMD, destacada com stop-gradient após reponderação e re-ruído, é subtraída do alvo de velocidade.
Também soma-se à predição limpa destacada. A perda quadrática combinada é aplicada aos dois alvos.
Os autores comparam formas de regressão e suas combinações para escolher a configuração de treino.
Resultados reportados
Os experimentos usam Z-Image-Turbo 6B e Qwen-Image 20B, com ajuste total e LoRA. No orçamento de 2 NFE, o IDM sobre Z-Image-Turbo alcança 94,25% no LongText-CN e 90,20% no LongText-EN.
São os melhores escores entre os métodos comparados nesse orçamento. Há ganhos de 2,63 e 0,32 ponto percentual sobre o Z-Image-Turbo++.
Vale notar a assimetria: o avanço em inglês é bem mais estreito que o chinês.
As ablações controladas indicam ganho atribuível à perda de momentos adicional. Em cinco métricas reportadas, as features da EMA do gerador aparecem como competitivas frente a um encoder externo DINOv2.
Competitivas, não superiores.
Os autores também abalam as escolhas de regressão para justificar a configuração final. Os números são afirmações dos autores em um preprint, não medições independentes.
Limitações e o que não foi provado
O escopo é estreito. Dois backbones (6B e 20B) e um benchmark de renderização de texto, com dois subsets de idioma.
Não há informação de venue ou revisão por pares no material disponível.
A motivação teórica é uma decomposição exata do campo de score. O objetivo efetivamente otimizado é uma perda de momentos em espaço de features.
Não é uma estimativa do componente gaussiano em espaço de amostras, nem do resíduo. Os próprios autores enquadram a análise como motivação, não como garantia de que restringir momentos reduza a KL reversa.
Também não está provado que a perda de momentos seja o mecanismo responsável por cada ganho observado fora das ablações apresentadas. Nem que o método escala para outros domínios além de texto longo, outras arquiteturas ou orçamentos de 1 NFE.
O resultado de destaque é a 2 NFE.
A comparação com DINOv2 é feita em cinco métricas escolhidas pelos autores. Não há, no material, avaliação humana ou estudo de robustez a prompts adversariais.
O resíduo não gaussiano não é modelado explicitamente. O argumento é que o DMD completo já o cobre.
Por que isso importa para quem constrói com IA
Para quem coloca geração de imagem em produção, o custo por inferência é o parâmetro que decide arquitetura. Um método que melhora fidelidade condicional em 2 NFE sem rede auxiliar de score, sem discriminador e sem encoder externo reduz a superfície de treino e o custo de memória.
O uso da cópia EMA como extratora de features é uma economia elegante. O modelo que já existe passa a supervisionar a si mesmo.
A lição metodológica talvez seja mais durável que os números. Adicionar uma restrição estatística interpretável a um sinal de score aprendido, mantendo o sinal completo, é uma forma barata de injetar informação global que o treino por amostra tende a deixar escapar.
Para times que fazem destilação de modelos grandes, o padrão é reutilizável mesmo fora de imagem. Decompor o alvo, identificar o que dá para restringir explicitamente, conservar o resto.
Referências
- Liu, D.; Han, Y.; Zheng, K.; Xie, J.; Liu, J.; Cheng, Z.; Sun, P.; Zhang, J.; Li, J.; Lin, T. Intrinsic Distribution Matching. arXiv:2610.39633, cs.CV. https://arxiv.org/abs/2610.39633
- Página do projeto: https://www.inclusion-ai.org/IDM/?lang=zh
- Código: https://github.com/inclusionAI/IDM
- Yin et al. (2024) — Distribution Matching Distillation, base do campo de score utilizado.
- Cheng et al. (2025), TwinFlow; Liu et al. (2026), APEX, de onde vem a estimativa interna de score por ramos de velocidade.
- Wang e Vastola (2023, 2024), representação de score como gaussiana mais resíduo.
- Geng et al. (2025), LongText-Bench, benchmark usado na avaliação.
- Liu et al. (2023), rectified flow; Zheng et al. (2025), rCM.
