Unified-IO 2 ist ein einheitliches multimodales Generierungsmodell, das Bilder, Texte, Audiodaten und Aktionen verstehen und generieren kann. Es verwendet ein einzelnes Encoder-Decoder-Transformer-Modell, um Eingaben und Ausgaben verschiedener Modalitäten (Bilder, Texte, Audiodaten, Aktionen usw.) in einem gemeinsamen semantischen Raum darzustellen und zu verarbeiten. Das Modell wurde von Grund auf neu auf einem umfangreichen, multimodalen vortrainierten Korpus trainiert und mit einem multimodalen Entrauschungsziel optimiert. Um ein breites Spektrum an Fähigkeiten zu erlernen, wurde das Modell außerdem auf 120 bestehenden Datensätzen feinabgestimmt, die Prompts und Datenaugmentationen enthalten. Unified-IO 2 erreicht im GRIT-Benchmark State-of-the-Art-Leistung und erzielt in über 30 Benchmarks starke Ergebnisse, darunter Bildgenerierung und -verständnis, Textverständnis, Video- und Audioverständnis sowie Robotik.