「Controlling Text-to-Image Diffusion」では、強力なテキストから画像への生成モデルを様々な下流タスクに効果的に誘導・制御する方法について研究されています。本研究では、モデルの生成能力を維持できる直交微調整 (OFT) 法が提案されています。OFTは、ニューロン間の超球面エネルギーを不変に保ち、モデルの崩壊を防ぎます。著者らは、主体駆動型生成と制御可能な生成という2つの重要な微調整タスクを検討しました。その結果、OFT法は、生成品質と収束速度において既存の方法を上回ることが示されました。