DeepSeek a annoncé le produit du deuxième jour de sa semaine Open Source : la première bibliothèque de communication EP open source pour les modèles MoE, prenant en charge l’optimisation complète du stack pour l’entraînement et l’inférence des modèles d’experts mixtes. DeepEP est une bibliothèque de communication efficace spécialement conçue pour les experts mixtes (MoE) et le parallélisme d’experts (EP). Elle vise à fournir un débit élevé et une faible latence pour les cœurs de GPU multi-à-multi, communément appelés ordonnancement et combinaison MoE. DeepEP prend non seulement en charge les opérations de faible précision telles que FP8, mais est également compatible avec l’article DeepSeek-V3.

Le 26 décembre 2024, DeepSeek, une start-up chinoise spécialisée dans l’intelligence artificielle, a lancé son dernier modèle surdimensionné, DeepSeek-V3. Ce modèle se distingue par sa technologie open source et son approche innovante qui défie les principaux fournisseurs d’IA. DeepSeek-V3 possède 671 milliards de paramètres et utilise une architecture de mélange d’experts (mixture-of-experts architecture) pour activer des paramètres spécifiques afin de traiter les tâches données avec précision et efficacité. Selon les données de référence fournies par DeepSeek...

L'Allen Institute for Artificial Intelligence (AI2) a publié OLMoE, un grand modèle linguistique open source conçu pour offrir des performances élevées à faible coût. Ce modèle utilise une architecture de mélange d'experts clairsemé (MoE), avec 7 milliards de paramètres, mais grâce à un mécanisme de routage intelligent, chaque jeton d'entrée n'utilise qu'un milliard de paramètres, permettant un calcul efficace. OLMoE comprend des versions à usage général et finetunées pour les instructions, et prend en charge une fenêtre contextuelle de 4096 jetons. Ses données d'entraînement proviennent de sources variées, notamment Common Crawl, Dolma CC et Wikipédia.

Google DeepMind a publié une étude révolutionnaire axée sur son modèle de millions d'experts, Mixture, une architecture novatrice qui franchit une étape importante dans le développement des Transformers. Mixture atteint son objectif de libérer le potentiel de l'architecture Transformer tout en maintenant l'efficacité du calcul grâce à une recherche rapide et efficace parmi plus de 100 000 mini-experts. Le point fort réside dans le mécanisme de recherche d'experts hautement efficace en termes de paramètres, utilisant une technique de clés de produit pour séparer le calcul.