DreamLLM es un marco de aprendizaje que, por primera vez, ha logrado la sinergia entre la comprensión y la creación multimodales en modelos lingüísticos de gran tamaño (LLM) multimodales. Genera modelos posteriores de lenguaje e imagen mediante el muestreo directo en el espacio multimodal original. Este método evita las limitaciones y la pérdida de información inherentes a los extractores de características externas como CLIP, lo que permite una comprensión multimodal más completa. DreamLLM también aprende eficazmente todas las distribuciones multimodales condicionales, marginales y conjuntas modelando el contenido de texto e imagen, así como documentos cruzados sin estructura. Por lo tanto, DreamLLM es el primer MLLM capaz de generar contenido cruzado de forma libre. Experimentos exhaustivos demuestran el excelente rendimiento de DreamLLM como un especialista multimodal de cero-shot, aprovechando al máximo la sinergia de aprendizaje mejorada.