LLaDA es un nuevo tipo de modelo de difusión que genera texto mediante un proceso de difusión, a diferencia de los modelos autoregresivos tradicionales. Destaca en la escalabilidad de la generación de lenguaje, el seguimiento de instrucciones, el aprendizaje contextual, la capacidad de conversación y la capacidad de compresión. Este modelo fue desarrollado por investigadores de la Universidad del Pueblo Chino y Ant Group, tiene un tamaño de 8B y se entrenó completamente desde cero. Sus principales ventajas son la capacidad de generar texto de forma flexible mediante el proceso de difusión, la compatibilidad con varias tareas de lenguaje, como la resolución de problemas matemáticos, la generación de código, la traducción y las conversaciones de varias rondas, etc. La aparición de LLaDA proporciona una nueva dirección para el desarrollo de modelos de lenguaje, especialmente en términos de calidad y flexibilidad de generación.