O DreamLLM é uma estrutura de aprendizado que, pela primeira vez, implementou a sinergia entre compreensão e criação multimodais em modelos de linguagem de grande porte (LLM). Ele gera modelos posteriores de linguagem e imagem por meio da amostragem direta no espaço multimodal original. Esse método evita as limitações e a perda de informação inerentes a extratores de recursos externos, como o CLIP, resultando em uma compreensão multimodal mais abrangente. O DreamLLM também aprende efetivamente todas as distribuições condicionais, marginais e conjuntas multimodais, modelando o conteúdo de texto e imagem e documentos cruzados de layout não estruturado. Portanto, o DreamLLM é o primeiro MLLM capaz de gerar conteúdo cruzado de forma livre. Experimentos abrangentes demonstram o desempenho excepcional do DreamLLM como um generalista multimodal de zero-shot, aproveitando totalmente a sinergia aprimorada do aprendizado.