ScaleLong拡散モデル

中山大学などの研究者らが、ScaleLong拡散モデルを提案しました。これは、UNetのロングスキップ接続におけるスケーリング操作が、モデルの安定した学習に繋がることを示しています。

研究によると、スケーリング係数を適切に設定することで、特徴量の不安定性を軽減し、入力ノイズに対するモデルの堅牢性を向上させることが分かりました。彼らは、学習可能なスケーリング(LS)法と定数スケーリング(CS)法を提案し、これらの方法を用いてスケーリング係数を適応的に調整することで、モデルの学習をさらに安定化させます。

可視化された特徴量とパラメータは、モデル学習において重要な役割を果たしており、スケーリング係数は勾配の大きさや入力ノイズの安定性に影響を与えます。