L'étude « Controlling Text-to-Image Diffusion » explore comment guider ou contrôler efficacement les puissants modèles génératifs texte-vers-image pour diverses tâches en aval. Elle propose la méthode d'ajustement fin orthogonal (OFT), capable de préserver les capacités de génération du modèle. L'OFT maintient l'énergie hypersphérique entre les neurones inchangée, empêchant l'effondrement du modèle. Les auteurs ont considéré deux tâches d'ajustement fin importantes : la génération pilotée par le sujet et la génération contrôlable. Les résultats montrent que l'OFT surpasse les méthodes existantes en termes de qualité de génération et de vitesse de convergence.