Masked Diffusion Language Models (MDLM)は、マスキングと拡散メカニズムによって高品質のテキストデータを生成する新型の言語モデルです。MDLMは改良されたトレーニング方法と簡素化された目的関数により、マスキング拡散モデルの性能を向上させ、言語モデルベンチマークテストにおいて新たな最良の状態を達成し、自己回帰モデルの困惑度にも近づいています。MDLMの主な利点としては、効率的なサンプラー、任意の長さのテキスト生成のサポート、長距離依存性と制御可能な生成における優位性などが挙げられます。