Modelos de Linguagem de Difusão Mascarada (MDLM) são um novo tipo de modelo de linguagem que gera dados de texto de alta qualidade por meio de mecanismos de mascaramento e difusão. O MDLM melhora o desempenho dos modelos de difusão mascarada por meio de métodos de treinamento aprimorados e uma função objetivo simplificada, atingindo um novo estado da arte em benchmarks de modelagem de linguagem e se aproximando da perplexidade de modelos autoregressivos. As principais vantagens do MDLM incluem um amostrador eficiente, suporte para geração de texto de comprimento arbitrário e vantagens em relação à dependência de longo alcance e geração controlável.