L'intelligence artificielle (IA) devient de plus en plus performante, notamment les grands modèles de langage (LLM), dont les capacités de traitement du langage naturel sont impressionnantes. Mais saviez-vous que ces cerveaux IA intelligents nécessitent une puissance de calcul et un espace de stockage considérables ?
Un modèle multilingue Bloom disposant de 176 milliards de paramètres nécessite à lui seul au moins 350 Go d'espace de stockage pour les poids du modèle, et son exécution exige plusieurs GPU haut de gamme. Cela représente non seulement un coût élevé, mais aussi un obstacle à la démocratisation.
Pour résoudre ce problème, les chercheurs ont proposé une technique appelée « quantification ». La quantification, c'est comme si l'on mettait l'IA au régime : en mappant les poids et les activations du modèle sur des formats de données à plus faible nombre de bits, on réduit non seulement la taille du modèle, mais on accélère également sa vitesse d'exécution. Cependant, ce processus présente un risque : une possible perte de précision.
Face à ce défi, des chercheurs de l'Université d'Aéronautique et d'Astronautique de Beijing et de SenseTime ont collaboré pour développer la boîte à outils LLMC. LLMC est comme un coach personnel pour l'IA ; elle aide les chercheurs et les développeurs à trouver le « régime » le plus adapté, permettant à l'IA d'être plus légère sans compromettre ses performances.
La boîte à outils LLMC présente trois caractéristiques principales :
Diversité : LLMC propose 16 méthodes de quantification différentes, comme 16 régimes différents pour l'IA. Que votre IA souhaite perdre du poids partout ou seulement à certains endroits, LLMC répond à vos besoins.
Faible coût : LLMC est très économe en ressources. Même pour les modèles très volumineux, elle ne nécessite qu'un support matériel minimal. Par exemple, une seule GPU A100 de 40 Go suffit pour ajuster et évaluer le modèle OPT-175B de 175 milliards de paramètres. C'est aussi efficace que d'entraîner un champion olympique sur un tapis roulant domestique !
Haute compatibilité : LLMC prend en charge plusieurs configurations de quantification et formats de modèles, et est compatible avec plusieurs backends et plates-formes matérielles. C'est comme un coach universel ; quel que soit votre équipement, il peut vous aider à élaborer un plan d'entraînement adapté.
Applications concrètes de LLMC : une IA plus intelligente et plus économe en énergie
La boîte à outils LLMC fournit un test de référence complet et impartial pour la quantification des grands modèles de langage. Elle prend en compte trois facteurs clés : les données d'entraînement, l'algorithme et le format de données, aidant les utilisateurs à trouver la meilleure solution d'optimisation des performances.
Dans les applications concrètes, LLMC aide les chercheurs et les développeurs à intégrer plus efficacement les algorithmes et les formats à faible nombre de bits appropriés, favorisant ainsi la compression et la démocratisation des grands modèles de langage. Cela signifie qu'à l'avenir, nous pourrons voir davantage d'applications IA légères mais tout aussi puissantes.
Les auteurs de l'article partagent également des découvertes et des suggestions intéressantes :
Lors du choix des données d'entraînement, il convient de sélectionner des ensembles de données dont la distribution lexicale est plus similaire à celle des données de test, tout comme un régime alimentaire doit être adapté à la personne qui le suit.
En ce qui concerne les algorithmes de quantification, ils ont étudié l'impact de trois techniques principales : la conversion, la réduction et la reconstruction, comme si l'on comparait différentes méthodes d'exercice pour perdre du poids.
Lors du choix entre la quantification entière et la quantification à virgule flottante, ils ont constaté que la quantification à virgule flottante est plus avantageuse pour traiter des situations complexes, tandis que la quantification entière peut être préférable dans certains cas spécifiques. C'est comme si, à différentes étapes d'un régime, il fallait adapter l'intensité de l'exercice.
L'arrivée de la boîte à outils LLMC apporte un vent de fraîcheur dans le domaine de l'IA. Elle fournit non seulement un outil puissant aux chercheurs et aux développeurs, mais elle ouvre également de nouvelles perspectives pour l'avenir de l'IA. Grâce à LLMC, nous pouvons espérer voir davantage d'applications IA légères et performantes, rendant l'IA véritablement accessible à tous.
Adresse du projet : https://github.com/ModelTC/llmc
Adresse de l'article : https://arxiv.org/pdf/2405.06001
