Maskierte Diffusions-Sprachmodelle (MDLM) sind eine neue Art von Sprachmodellen, die durch Maskierungs- und Diffusionsmechanismen qualitativ hochwertige Textdaten generieren. MDLM verbessert die Leistung von maskierten Diffusionsmodellen durch verbesserte Trainingsmethoden und eine vereinfachte Zielfunktion. Sie erreichen dabei neue Bestwerte in Sprachmodell-Benchmark-Tests und nähern sich der Perplexität von autoregressiven Modellen an. Die Hauptvorteile von MDLM sind ein effizienter Sampler, die Unterstützung der Generierung von Texten beliebiger Länge sowie Vorteile bei Langzeitabhängigkeiten und kontrollierbarer Generierung.