Meta, développeur du grand modèle linguistique open source Llama, estime que la puissance de calcul nécessaire à l'entraînement des modèles futurs augmentera considérablement.
Mardi, lors de la conférence téléphonique sur les résultats du deuxième trimestre de Meta, Mark Zuckerberg a révélé que la puissance de calcul nécessaire pour entraîner Llama4 serait dix fois supérieure à celle requise pour Llama3. Il a souligné que malgré cela, Meta devait développer ses capacités d'entraînement de modèles afin de ne pas prendre de retard sur ses concurrents.
Zuckerberg a déclaré : « La quantité de calcul nécessaire pour entraîner Llama4 pourrait être presque dix fois supérieure à celle nécessaire pour Llama3, et les besoins en calcul des modèles futurs continueront d'augmenter. » Il a également souligné la difficulté de prédire les tendances des futures générations de modèles, mais qu'il préférait construire les capacités nécessaires en avance plutôt que d'être pris au dépourvu, le lancement de nouveaux projets d'inférence nécessitant une longue période de préparation.
En avril dernier, Meta a publié Llama3, un modèle doté de 80 milliards de paramètres. La semaine dernière, la société a publié Llama3.1405B, sa version améliorée avec 4050 milliards de paramètres, devenant ainsi le plus grand modèle open source de Meta.
Susan Li, directrice financière de Meta, a également déclaré que l'entreprise envisageait différents projets de centres de données et développait ses capacités pour l'entraînement de futurs modèles d'IA. Elle a indiqué que Meta prévoyait que cet investissement augmenterait ses dépenses d'investissement en 2025.
Il faut savoir que l'entraînement de grands modèles linguistiques est une activité coûteuse. Au deuxième trimestre 2024, les dépenses d'investissement de Meta ont augmenté de près de 33 %, passant de 6,4 milliards de dollars à 8,5 milliards de dollars par rapport à l'année précédente, grâce aux investissements dans les serveurs, les centres de données et les infrastructures réseau.
Points clés :
🎯La puissance de calcul nécessaire pour entraîner Llama4 chez Meta est environ dix fois supérieure à celle requise pour Llama3.
🎯Meta prévoit que les investissements dans le développement de ses capacités augmenteront ses dépenses d'investissement en 2025.
🎯L'entraînement de grands modèles linguistiques est coûteux, les dépenses d'investissement de Meta ayant fortement augmenté au deuxième trimestre.
