北京智源人工智能研究院宣布推出原生多模态世界模型Emu3。这一模型基于下一个token预测技术，无需依赖扩散模型或组合方法，就能够完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了现有的知名开源模型，如SDXL、LLaVA、OpenSora等，展现了卓越的性能。
Emu3模型的核心是一个强大的视觉tokenizer，它能将视频和图像转换为离散token，这些token可以与文本tokenizer输出的离散token一起送入模型中。模型输出的离散token可以被转换为文本、图像和视频，为Any-to-Any任务提供了统一的研究范式。此外，Emu3的下一个token预测框架的灵活性使得直接偏好优化（DPO）能够无缝应用于自回归视觉生成，使模型与人类偏好保持一致。
Emu3的研究结果证明了下一个token预测可以作为多模态模型的一个强大范式，实现超越语言本身的大规模多模态学习，并在多模态任务中实现先进的性能。通过将复杂的多模态设计收敛到token本身，Emu3在大规模训练和推理中释放了巨大的潜力。这一成果为构建多模态AGI提供了一条前景广阔的道路。
目前，Emu3的关键技术和模型已经开源，包括经过SFT的Chat模型和生成模型，以及相应的SFT训练代码，以便后续研究和社区构建与集成。
代码:https://github.com/baaivision/Emu3
项目页面:https://emu.baai.ac.cn/
模型:https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f