La taille des paramètres des grands modèles a augmenté de 100 fois, dépassant désormais les mille milliards, entraînant une consommation de ressources énorme et des coûts de stockage, d'inférence, de maintenance et de déploiement de plus en plus élevés. Les entreprises de grands modèles mènent activement une campagne de « réduction des coûts ». Premièrement, la mise à l'échelle des données, pour améliorer la rentabilité marginale des données grâce aux effets d'échelle ; deuxièmement, la compression des modèles, pour maintenir les performances tout en accélérant l'inférence, en réduisant la latence et les besoins en ressources ; troisièmement, l'optimisation du calcul, en améliorant les performances des puces et des clusters de calcul ; quatrièmement, la stratification commerciale, les grands modèles de différentes tailles, fonctionnalités et orientations adoptent des voies de commercialisation distinctes. Contrôler les dépenses et optimiser les processus, pour un service durable à long terme, la « réduction des coûts » des grands modèles est une étape indispensable.
Les grands modèles entrent dans une nouvelle phase de réduction des coûts après l'ère des milliards de paramètres
