PaddleMIX 2.0 est une suite de développement de modèles multimodaux lancée par Baidu. Elle intègre des données multimodales telles que des images, du texte, de l'audio et de la vidéo, couvrant un large éventail d'applications, notamment la conduite autonome, les soins de santé intelligents et les moteurs de recherche, stimulant ainsi l'innovation dans les applications de l'IA. Le lancement de PaddleMIX 2.0 vise à simplifier le développement pour les développeurs du domaine multimodal, en offrant des algorithmes hautes performances, un développement facile, un entraînement efficace et un déploiement complet.
Les trois principaux atouts de PaddleMIX 2.0 sont :
Une riche bibliothèque de modèles multimodaux, couvrant les modalités image, texte, vidéo et audio, et incluant de nouveaux modèles de pointe tels que la série LLaVA.
Une expérience de développement de bout en bout, comprenant la boîte à outils de traitement de données multimodales DataCopilot et le module Auto, simplifiant ainsi le processus d'entraînement des grands modèles multimodaux.
Des capacités d'entraînement et d'inférence à grande échelle et haute performance. Le modèle DiT prend en charge le pré-entraînement à l'échelle de 3 milliards de paramètres, avec des performances de pointe. La nouvelle stratégie d'entraînement MixToken améliore considérablement le débit d'entraînement.
PaddleMIX 2.0 fournit également l'outil AppFlow, qui, grâce à des combinaisons en pipeline, construit diverses applications multimodales, ainsi que le plugin ComfyUI, prenant en charge les capacités multimodales et simplifiant les opérations des tâches AIGC. De plus, PaddleMIX 2.0 présente des améliorations significatives en termes de pré-entraînement à grande échelle, d'entraînement fin efficace et d'inférence haute performance.
Page d'accueil du projet open source :https://github.com/PaddlePaddle/PaddleMIX
