LLaDA ist ein neuartiges Diffusionsmodell, das Text durch einen Diffusionsprozess generiert, im Gegensatz zu traditionellen autoregressiven Modellen. Es zeichnet sich durch Skalierbarkeit der Sprachgenerierung, Befolgung von Anweisungen, kontextuelles Lernen, Dialogfähigkeit und Komprimierungsfähigkeit aus. Das Modell wurde von Forschern der Renmin-Universität China und der Ant Group entwickelt, hat eine Größe von 8B und wurde vollständig von Grund auf neu trainiert. Sein Hauptvorteil ist die Fähigkeit, Text flexibel durch einen Diffusionsprozess zu generieren und verschiedene Sprachfunktionen zu unterstützen, wie z. B. die Beantwortung mathematischer Fragen, die Codegenerierung, die Übersetzung und mehrstufige Dialoge. Das Erscheinen von LLaDA bietet neue Wege für die Entwicklung von Sprachmodellen, insbesondere in Bezug auf die Qualität und Flexibilität der Generierung.