扩散模型（Diffusion Model）作为AI绘画领域的"顶流"技术，一直以其卓越的生成效果备受瞩目。然而，其漫长的训练过程一直是制约其进一步发展的瓶颈。
近日，一项名为REPA（REPresentation Alignment）的创新技术为解决这一问题带来了突破性进展，有望将扩散模型的训练效率提升17.5倍。
扩散模型的核心原理是通过逐步向图像添加噪声，然后训练模型反向还原出清晰图像的过程。这种方法虽然效果显著，但训练过程耗时耗力，往往需要数百万步的迭代才能达到理想效果。
研究人员发现，这一问题的根源在于模型在学习过程中对图像语义信息的理解效率低下。
REPA技术的创新之处在于引入了预训练的视觉编码器（如DINOv2），作为模型学习图像语义信息的"透视眼镜"。通过这一方法，扩散模型能够在训练过程中不断将自身对图像的理解与预训练编码器的结果进行对比，从而加速对图像本质特征的掌握。
实验结果令人振奋:
训练效率大幅提升:使用REPA后，扩散模型SiT的训练速度提高了17.5倍。原本需要700万步才能达到的效果，现在仅需40万步即可实现。
生成质量显著提升:REPA不仅加快了训练速度，还提高了生成图像的质量。FID指标（衡量生成图像质量的重要指标）从2.06降至1.80，在某些情况下甚至可达到1.42的顶级水平。
简单易用且兼容性强:REPA方法实施简单，只需在训练过程中添加一个正则化项即可。此外，它还可以与多种预训练视觉编码器兼容，适用范围广泛。
REPA技术的出现为AI绘画领域带来了新的可能性:
加速AI绘画应用开发:更快的训练速度意味着开发者可以更迅速地迭代和优化AI绘画模型，加快新应用的推出速度。
提升生成图像质量:通过更深入地理解图像语义，REPA有助于生成更加逼真、细节丰富的图像。
促进判别式模型与生成式模型的融合:REPA为扩散模型引入了预训练视觉编码器的能力，这种融合可能启发更多跨模型类型的创新，推动AI技术向更智能化的方向发展。
降低AI训练成本:训练效率的提升直接转化为时间和算力成本的节省，这可能使更多研究者和开发者有机会参与到AI绘画技术的开发中来。
拓展AI绘画的应用领域:更高效的训练过程可能使得AI绘画技术在更多领域得到应用，如实时图像生成、个性化设计等。
论文地址：https://arxiv.org/pdf/2410.06940
