DreamLLMは、マルチモーダル大規模言語モデル（LLM）のマルチモーダル理解と創作における協調効果を初めて実現した学習フレームワークです。生のマルチモーダル空間で直接サンプリングすることで、言語と画像の事後モデルを生成します。この手法は、CLIPのような外部特徴抽出器に固有の制約や情報損失を回避し、より包括的なマルチモーダル理解を実現します。また、テキストと画像の内容、そして非構造化レイアウトの生のクロスドキュメントをモデル化することで、全ての条件、マージナル、そして結合マルチモーダル分布を効果的に学習します。そのため、DreamLLMは自由形式のクロスコンテンツを生成できる最初のMLLMです。包括的な実験により、DreamLLMがゼロショットマルチモーダル汎用 AIとしての卓越した性能を示し、強化された学習協調効果を最大限に活用していることが実証されています。