Instruct-Imagen é um modelo de geração de imagens multimodal que, por meio da introdução de instruções multimodais, permite o processamento de tarefas de geração de imagens heterogêneas e a generalização em tarefas desconhecidas. O modelo utiliza linguagem natural para integrar diferentes modalidades (como texto, bordas, estilo, tema, etc.), padronizando as ricas intenções de geração. Através do ajuste fino de um modelo de difusão pré-treinado de texto para imagem em um framework de duas etapas, empregando treinamento aprimorado por recuperação e ajuste fino em diversas tarefas de geração de imagens, os resultados da avaliação humana em vários conjuntos de dados de geração de imagens mostram que ele se equipara ou supera modelos específicos de tarefas anteriores em seu domínio, além de exibir uma promissora capacidade de generalização para tarefas desconhecidas e mais complexas.