英伟达与麻省理工学院、清华大学的研究人员合作开发了一款名为Sana的全新文本到图像生成框架，该框架能够高效生成高达4096×4096分辨率的图像。
Sana可以在极快的速度下合成高分辨率、高质量且与文本高度一致的图像，甚至可以在笔记本电脑的GPU上运行。
Sana 的核心设计包括:
深度压缩自动编码器: 与传统的自动编码器仅压缩图像8倍不同，Sana 训练的自动编码器可以将图像压缩32倍，有效减少了潜在标记的数量。
线性 DiT: Sana 将 DiT 中所有普通的注意力机制替换为线性注意力机制，这在高分辨率图像生成时更加高效，且不会牺牲质量。
仅解码器文本编码器: 研究人员用更先进的小型仅解码器语言模型 （LLM） Gemma 替换了 T5作为文本编码器，并设计了复杂的人类指令和上下文学习来增强图像与文本的一致性。
高效的训练和采样: Sana 提出了 Flow-DPM-Solver 来减少采样步骤，并通过高效的标题标记和选择来加速模型收敛。
得益于这些设计，Sana-0.6B 在性能上与大型扩散模型（如 Flux-12B）不相上下，但模型规模却小20倍，速度快100多倍。
此外，Sana-0.6B 可以部署在16GB 的笔记本电脑 GPU 上，生成1024×1024分辨率的图像只需不到1秒钟，Sana 使低成本的内容创作成为可能。
Sana 的主要优势在于其高效性。 在4K 图像生成方面，Sana-0.6B 的吞吐量比目前最先进的方法 （FLUX） 快100多倍，在1K 分辨率下快40倍。
研究人员还对 Sana-0.6B 进行了量化，并将其部署在边缘设备上。在配备 RTX-4090GPU 的消费级设备上，生成1024×1024分辨率的图像只需0.37秒，为实时图像生成提供了强大的基础模型。
未来，研究人员计划基于 Sana 构建一个高效的视频生成流程。 然而，该研究也存在一些局限性，例如无法完全保证生成图像内容的安全性和可控性，在文本渲染、人脸和手部生成等复杂情况下也存在挑战。
项目地址：https://nvlabs.github.io/Sana/
论文地址：https://arxiv.org/pdf/2410.10629