Instruct-Imagen ist ein multimodales Bildgenerierungsmodell, das durch die Einführung multimodaler Anweisungen die Bearbeitung heterogener Bildgenerierungsaufgaben ermöglicht und eine Generalisierung auf unbekannte Aufgaben erreicht. Das Modell nutzt natürliche Sprache, um verschiedene Modalitäten (wie Text, Kanten, Stil, Thema usw.) zu integrieren und umfangreiche Generierungsabsichten zu standardisieren. Durch ein zweistufiges Feintuning auf einem vorab trainierten Text-zu-Bild-Diffusionsmodell, unter Verwendung von retrieval-augmented training und Feintuning mit diversen Bildgenerierungsaufgaben, zeigt das Modell in verschiedenen Bildgenerierungsdatensätzen eine in der Domäne vergleichbare oder überlegene Leistung gegenüber bisherigen aufgaben-spezifischen Modellen und weist eine vielversprechende Generalisierungsfähigkeit für unbekannte und komplexere Aufgaben auf.