L'ère des modèles de langage à « 1 bit » est arrivée ! Microsoft et l'Université des sciences et technologies de Chine ont proposé la méthode BitNet b1.58, qui convertit les paramètres en représentation ternaire, réduisant ainsi fondamentalement l'occupation mémoire du modèle et simplifiant le processus de calcul. Cette méthode a été comparée en termes de performance sur des modèles de différentes tailles, démontrant une amélioration de la vitesse et une réduction de l'utilisation de la mémoire, suscitant ainsi de vives discussions et débats parmi les internautes.
Succès fulgurant d'un article de Microsoft : un LLM ternaire, une vraie réussite !

量子位
47
© Tous droits réservés AIbase基地 2024, cliquez pour voir la source -https://www.aibase.com/fr/news/6097