AnyGPT ist ein einheitliches multimodales großes Sprachmodell, das diskrete Repräsentationen zur einheitlichen Verarbeitung verschiedener Modalitäten verwendet, darunter Sprache, Text, Bilder und Musik. AnyGPT kann stabil trainiert werden, ohne die aktuelle Architektur oder das Trainingsparadigma großer Sprachmodelle zu verändern. Es basiert vollständig auf der Vorverarbeitung auf Datenebene und ermöglicht die nahtlose Integration neuer Modalitäten in Sprachmodelle, ähnlich der Hinzufügung neuer Sprachen. Wir haben einen textzentrierten multimodalen Datensatz für das prätrainierte Multimodal Alignment erstellt. Mithilfe von generativen Modellen haben wir den ersten großen, beliebigen Multimodalen Instruktionsdatensatz synthetisiert. Er besteht aus 108.000 mehrstufigen Dialogbeispielen, in denen verschiedene Modalitäten miteinander verwoben sind, sodass das Modell beliebige Kombinationen multimodaler Eingaben und Ausgaben verarbeiten kann. Die experimentellen Ergebnisse zeigen, dass AnyGPT beliebige multimodale Dialoge ermöglicht und gleichzeitig in allen Modalitäten eine mit spezialisierten Modellen vergleichbare Leistung erzielt, was beweist, dass diskrete Repräsentationen mehrere Modalitäten effektiv und einfach in Sprachmodellen vereinheitlichen können.