Lors du récent CES, Jensen Huang, PDG de Nvidia, a déclaré que l'amélioration des performances de ses puces IA dépassait les standards historiques de la loi de Moore.
La loi de Moore, énoncée en 1965 par Gordon Moore, cofondateur d'Intel, prédisait un doublement annuel approximatif du nombre de transistors sur les puces informatiques, entraînant un doublement correspondant des performances. Cependant, ces dernières années, la progression de la loi de Moore a considérablement ralenti.
Source : Image générée par IA, Midjourney
Jensen Huang a souligné que la dernière superpuce de centre de données de Nvidia était plus de 30 fois plus rapide que la génération précédente pour les charges de travail d'inférence IA. Il a déclaré : « Nous pouvons construire simultanément l'architecture, la puce, le système, les bibliothèques et les algorithmes. Si nous pouvons le faire, nous pouvons dépasser la loi de Moore, car nous pouvons innover sur toute la pile technologique. »
Cette déclaration est particulièrement importante dans un contexte où beaucoup remettent en question le ralentissement potentiel des progrès de l'IA. Actuellement, les principaux laboratoires d'IA tels que Google, OpenAI et Anthropic utilisent les puces IA de Nvidia pour entraîner et exécuter leurs modèles d'IA. Par conséquent, les progrès de ces puces auront un impact direct sur les capacités des modèles d'IA.
Jensen Huang a également mentionné l'existence de trois lois d'extension actives de l'IA : le pré-entraînement, l'entraînement post-hoc et le calcul au moment de l'inférence. Il a souligné l'importance de la loi de Moore dans l'histoire de l'informatique, car elle a permis de réduire le coût du calcul. L'amélioration des performances lors de l'inférence entraînera également une réduction des coûts d'inférence.
Bien que certains s'inquiètent de la capacité des puces coûteuses de Nvidia à maintenir leur avance dans le domaine de l'inférence, Jensen Huang a déclaré que la nouvelle puce GB200NVL72 était 30 à 40 fois plus rapide que la puce H100 pour les charges de travail d'inférence, ce qui rendra les modèles d'inférence IA plus économiques.
Jensen Huang a insisté sur le fait que l'amélioration de la puissance de calcul est une solution directe et efficace aux problèmes de performances et de coût de l'inférence. Il prévoit une baisse continue du coût des modèles d'IA grâce aux progrès continus des technologies de calcul, malgré le coût élevé actuel de l'exécution de certains modèles d'entreprises comme OpenAI.
Jensen Huang a déclaré que les puces IA actuelles sont 1000 fois plus performantes qu'il y a dix ans, une progression qui dépasse largement la loi de Moore, et il estime que cette tendance ne s'inversera pas de sitôt.
Points clés :
🌟 Jensen Huang, PDG de Nvidia, a déclaré que l'amélioration des performances des puces IA de son entreprise dépasse la loi de Moore.
⚡ La nouvelle puce GB200NVL72 est 30 à 40 fois plus rapide que les modèles précédents pour les charges de travail d'inférence IA.
📉 Jensen Huang prévoit une baisse progressive du coût d'utilisation des modèles d'IA grâce à l'augmentation de la puissance de calcul.