Rethinking the design space of Vanilla Pixel Diffusion Transformers

Pesquisadores redesenham a arquitetura de modelos de difusão em pixel e apontam novo caminho para geração de imagens

Uma nova pesquisa sobre modelos de difusão que operam diretamente no espaço de pixels está movimentando o debate técnico sobre como as próximas gerações de IA para imagens e vídeos serão construídas. O estudo propõe uma revisão profunda do "espaço de design" dos chamados Pixel Diffusion Transformers, indicando que escolhas tidas como consolidadas — como a forma de prever o ruído durante o treinamento — podem estar limitando a qualidade final das imagens geradas.

Para entender o contexto, vale um passo atrás. A maioria dos geradores de imagem mais populares hoje, como os baseados em Stable Diffusion, trabalha em um "espaço latente": primeiro, um codificador automático comprime a imagem em uma representação menor e mais abstrata; depois, o modelo de difusão gera nesse espaço comprimido; por fim, um decodificador reconstrói a imagem. Esse atalho reduz custo computacional, mas introduz perdas — afinal, a compressão joga informação fora.

Nos últimos meses, pesquisadores voltaram a apostar no caminho oposto: gerar diretamente nos pixels, sem o gargalo latente e sem o codificador automático treinado separadamente. Um trabalho anterior, conhecido como JiT, mostrou que um transformer de difusão "vanilla" (isto é, sem grandes customizações) consegue gerar imagens diretamente em pixel, desde que se troque a previsão de velocidade (velocity prediction) pela previsão da imagem limpa (x₀-prediction).

MFlow: uma parametrização adaptativa

O novo estudo revisita justamente essa escolha e propõe o MFlow, uma parametrização adaptativa que aprende a interpolar entre as duas abordagens — previsão da imagem limpa e previsão de velocidade — ao longo das direções principais dos dados. O detalhe importante: esse aprendizado acontece de ponta a ponta, junto com o treinamento da difusão, sem etapas separadas.

Os resultados trazem uma constatação interessante para quem acompanha o setor. A parametrização "preferida" pelo modelo não é fixa: ela varia de forma sistemática conforme a representação dos dados e a capacidade do modelo. Em especial, quanto maior a capacidade do modelo, mais ele tende a preferir a previsão de velocidade. Ou seja, não existe uma receita única — modelos maiores e menores se beneficiam de configurações diferentes.

• Os pesquisadores avaliaram o MFlow em três frentes: geração de imagens no ImageNet, geração de vídeos no conjunto UCF-101 e geração texto-para-imagem em larga escala.
• Em todos os cenários, o método apresentou desempenho competitivo ou superior em relação