O estudo "Controlling Text-to-Image Diffusion" investiga como direcionar ou controlar eficazmente poderosos modelos geradores de texto para imagem em diversas tarefas downstream. Apresenta-se o método de ajuste fino ortogonal (OFT), que preserva a capacidade de geração do modelo. O OFT mantém a energia hiperesférica entre os neurônios inalterada, prevenindo o colapso do modelo. Os autores consideraram duas tarefas importantes de ajuste fino: geração dirigida por assunto e geração controlável. Os resultados demonstram que o método OFT supera os métodos existentes em termos de qualidade de geração e velocidade de convergência.