Meta a récemment annoncé le lancement de Llama 3 370B, le dernier né de sa série Llama. Ahmad Al-Dahle, vice-président de l'IA générative chez Meta, a annoncé la nouvelle sur la plateforme X, soulignant que Llama 3 370B présentait des améliorations significatives par rapport au précédent modèle Llama le plus important de Meta, Llama 3 1405B, tout en réduisant considérablement les coûts.
Al-Dahle a indiqué que grâce aux dernières techniques d'entraînement, Llama 3 370B non seulement améliore les performances, mais réduit également les coûts d'exploitation. Selon les tests de référence publiés par Meta, Llama 3 370B surpasse Gemini 1.5 Pro de Google, GPT-4 d'OpenAI et le nouveau Nova Pro d'Amazon dans plusieurs domaines, notamment dans le test MMLU qui évalue la compréhension du langage, où il excelle.
Ce modèle est désormais disponible en téléchargement depuis Hugging Face et la plateforme officielle de Llama. Cette initiative de Meta vise à dominer le secteur de l'IA grâce à des modèles « ouverts ». Les modèles Llama de Meta peuvent être utilisés dans de nombreux contextes et sont compatibles avec une utilisation commerciale, bien que Meta impose certaines restrictions aux développeurs, exigeant une demande de licence spéciale pour les plateformes comptant plus de 700 millions d'utilisateurs par mois. Malgré cela, Llama a déjà été téléchargé plus de 650 millions de fois, témoignant de sa popularité auprès des développeurs d'IA du monde entier.
Pour soutenir l'entraînement de modèles d'IA de plus grande envergure à l'avenir, Meta investit massivement dans les infrastructures de calcul. La société a récemment annoncé la construction d'un centre de données IA de 10 milliards de dollars en Louisiane, le plus grand centre de données IA de Meta à ce jour. Mark Zuckerberg a mentionné lors d'une conférence téléphonique sur les résultats financiers que la puissance de calcul nécessaire pour entraîner la prochaine génération de modèles Llama 4 serait 10 fois supérieure à celle requise pour Llama 3. Meta a déjà acquis plus de 100 000 unités de clusters de GPU Nvidia, rivalisant ainsi avec les ressources de concurrents tels que xAI.
Avec la hausse constante des coûts d'entraînement des modèles d'IA générative, les dépenses d'investissement de Meta sont également en augmentation. Au deuxième trimestre 2024, les dépenses d'investissement ont augmenté de près de 33 %, atteignant 8,5 milliards de dollars. Cette augmentation est principalement due aux investissements continus de Meta dans les serveurs, les centres de données et les infrastructures réseau.
