JetMoE-8B est un grand modèle linguistique open source qui, grâce à l'utilisation de jeux de données publics et de méthodes d'entraînement optimisées, surpasse les performances de Meta AI LLaMA2-7B pour un coût inférieur à 100 000 $. Lors de l'inférence, le modèle n'active que 2,2 milliards de paramètres, réduisant considérablement les coûts de calcul tout en maintenant des performances exceptionnelles.