Instruct-Imagen est un modèle de génération d'images multimodales qui, grâce à l'intégration d'instructions multimodales, permet de traiter des tâches de génération d'images hétérogènes et de généraliser à des tâches inconnues. Ce modèle utilise le langage naturel pour intégrer différentes modalités (telles que le texte, les contours, le style, le thème, etc.) et standardise les intentions de génération riches. Grâce à un réglage fin en deux étapes sur un modèle de diffusion pré-entraîné texte-image, et en utilisant un entraînement renforcé par la recherche et un réglage fin sur diverses tâches de génération d'images, les résultats d'évaluation manuelle du modèle sur divers ensembles de données de génération d'images montrent qu'il égale ou surpasse les modèles spécifiques à une tâche précédents dans le domaine, et fait preuve d'une capacité de généralisation prometteuse pour des tâches inconnues et plus complexes.