LLaDA是一种新型的扩散模型，通过扩散过程生成文本，与传统的自回归模型不同。它在语言生成的可扩展性、指令遵循、上下文学习、对话能力和压缩能力等方面表现出色。该模型由中国人民大学和蚂蚁集团的研究人员开发，具有8B的规模，完全从零开始训练。其主要优点是能够通过扩散过程灵活地生成文本，支持多种语言任务，如数学问题解答、代码生成、翻译和多轮对话等。LLaDA的出现为语言模型的发展提供了新的方向，尤其是在生成质量和灵活性方面。