魔搭ModelScope社区近日宣布，其国产开源Sora视频生成模型CogVideoX的更大尺寸版本——CogVideoX-5B已正式开源。
与之前的CogVideoX-2B相比，新模型在视频生成的质量和视觉效果上都有显著提升。
CogVideoX-5B是一个基于大规模DiT（diffusion transformer）模型，专为文本到视频生成任务设计。模型采用了3D因果变分自编码器(3D causal VAE)和专家Transformer技术，通过结合文本和视频嵌入，使用3D-RoPE作为位置编码，并利用3D全注意力机制进行时空联合建模。
此外，模型还采用了渐进式训练技术，能够生成具有显著运动特征、连贯且长时间的高质量视频。
模型链接:
https://modelscope.cn/models/ZhipuAI/CogVideoX-5b