Les modèles linguistiques de diffusion masquée (MDLM) constituent un nouveau type de modèle linguistique qui génère des données textuelles de haute qualité grâce à des mécanismes de masquage et de diffusion. En améliorant les méthodes d'entraînement et en simplifiant la fonction objective, les MDLM surpassent les performances des modèles de diffusion masquée existants, atteignant de nouveaux sommets dans les tests de référence de modélisation linguistique et se rapprochant de la perplexité des modèles auto-régressifs. Les principaux avantages des MDLM incluent un échantillonneur efficace, la prise en charge de la génération de textes de longueur arbitraire, ainsi qu'une performance supérieure en matière de dépendances à long terme et de génération contrôlée.