最近，快手和北京大学以及北京邮电大学的研究团队共同开源了一个名为 Pyramid-Flow 的超高清视频生成模型。
这个模型能够通过文本描述生成最高10秒、1280x768分辨率、24帧的视频，质量相当出色，光影效果、动作一致性、视频质量等方面表现都很不错。
Pyramid Flow 的工作原理与现有的视频扩散模型不同。现有模型通常在全分辨率下运行，这样做虽然能产生高质量的结果，但却消耗了大量计算资源。而 Pyramid Flow 则采用了流匹配的灵活性，可以在不同分辨率和噪声水平之间进行插值，这样就能更高效地生成和解压缩视频内容。
这一切都通过一个名为 DiT 的单一框架进行优化，大大缩短了训练时间。Pyramid-Flow 在 A100GPU 上仅经过了20，700小时的训练，能耗和效率远超市面上的同类模型。这对于那些没有庞大算力的中小企业和个人开发者来说，无疑是一个巨大的助力。
Pyramid-Flow 的创新之处在于它采用了一种名为金字塔流匹配的技术。这种方法将视频生成分解为多个不同分辨率的阶段，开始时生成低分辨率的草图，然后逐步提升到高分辨率。这样的设计既降低了计算负担，又提高了生成的灵活性。每个阶段都是从一个像素化的噪声表示演变而来，直到变得清晰。为了确保每个阶段之间的连续性，算法在过渡时会重新引入一些噪声。
此外，模型还利用自回归框架和块状因果注意力机制，使每一帧都能基于之前的帧进行生成，确保视频的连贯性和逻辑性。
官方示例：生成的10秒视频
官方示例：图片生成视频
在性能方面，Pyramid Flow 在各大比较平台上都表现优异。与市面上的一些商业模型相比，尽管它只使用了公共视频数据，但在质量和流畅度评分上都不遑多让。此外，通过用户调查发现，参与者普遍对 Pyramid Flow 的生成效果表示满意，尤其是在视频的运动平滑度方面，表现更加出色。
无论是想要生成精彩的视频内容的创作者，还是在探索新技术的研究者，Pyramid Flow 都为他们提供了一个高效、易用的选择。
项目入口:https://huggingface.co/rain1011/pyramid-flow-sd3
划重点:
🌟 该技术可生成768p 分辨率、24帧每秒、时长10秒的视频，且支持图像到视频的生成。
💡 使用流匹配的方式，在不同分辨率和噪声水平之间进行插值，从而提高计算效率。
🚀 在多个平台上表现优异，用户普遍对其视频生成效果给予高度评价。
