Die Studie "Controlling Text-to-Image Diffusion" untersucht, wie leistungsstarke Text-zu-Bild-Generierungsmodelle effektiv gesteuert werden können, um verschiedene Downstream-Aufgaben zu erfüllen. Sie stellt die Methode des orthogonalen Feintunings (OFT) vor, die die Generierungsfähigkeit des Modells bewahrt. OFT erhält die hypersphärische Energie zwischen den Neuronen aufrecht und verhindert ein Kollabieren des Modells. Die Autoren betrachten zwei wichtige Feintuning-Aufgaben: die objektgesteuerte Generierung und die kontrollierbare Generierung. Die Ergebnisse zeigen, dass OFT in Bezug auf die Generierungsqualität und die Konvergenzgeschwindigkeit bestehende Methoden übertrifft.