テキストから画像への拡散モデルは、優れた画像生成能力を示す深層生成モデルの一種です。しかし、これらのモデルは、ウェブ規模のテキストと画像の訓練データから暗黙的にバイアスを受けやすく、我々が関心を持つ画像の側面を正確にモデル化できない可能性があります。これは、最適でないサンプル、モデルのバイアス、そして人間の倫理や好みに合わない画像につながる可能性があります。本論文では、強化学習（RL）を用いて拡散モデルを改善する、効率的で拡張性の高いアルゴリズムを紹介し、人間の好み、構成性、公平性など、多様な報酬関数を網羅し、数百万枚の画像を対象としています。本手法が既存の方法を大幅に上回り、拡散モデルを人間の好みに合わせることを明らかにします。さらに、この手法が事前学習済みのStable Diffusion（SD）モデルを大幅に改善し、生成されたサンプルが人間の好みを80.3％満たすとともに、生成サンプルの構成と多様性を向上させることを明らかにします。