DreamLLM ist ein Lernframework, das erstmalig die synergetische Wirkung von multimodalen großen Sprachmodellen (LLM) im Bereich des multimodalen Verständnisses und der Kreation realisiert. Es generiert posteriore Modelle für Sprache und Bilder durch direkte Stichprobennahme im ursprünglichen multimodalen Raum. Diese Methode vermeidet die inhärenten Einschränkungen und Informationsverluste externer Feature-Extractor wie CLIP und erzielt so ein umfassenderes multimodales Verständnis. DreamLLM lernt effektiv alle konditionalen, marginalen und gemeinsamen multimodalen Verteilungen, indem es Text- und Bildinhalte sowie die ursprüngliche, unstrukturierte Layout-Struktur von Kreuzdokumenten modelliert. Daher ist DreamLLM das erste MLLM, das frei formatige Kreuzinhalte generieren kann. Umfangreiche Experimente belegen die herausragende Leistung von DreamLLM als Zero-Shot-Multimodal-Generalist und nutzen den verstärkten Lerneffekt optimal.