Microsoft a publié en open source LongLLMLingua, une technologie permettant de compresser les invites textuelles des modèles. Grâce à LongLLMLingua, il est possible de compresser les invites textuelles jusqu'à 20 fois, ce qui permet de réduire considérablement les coûts de calcul de l'IA. Les résultats expérimentaux montrent que les invites compressées non seulement améliorent les performances du modèle, mais réduisent également la latence. Cette technologie présente un large potentiel d'application dans les contextes de longs textes.
Compression des invites textuelles de modèles, permettant des économies considérables de puissance de calcul de l'IA
站长之家
77
Cet article provient d'AIbase Daily
Bienvenue dans la section [AI Quotidien] ! Voici votre guide pour explorer le monde de l'intelligence artificielle chaque jour. Chaque jour, nous vous présentons les points forts du domaine de l'IA, en mettant l'accent sur les développeurs, en vous aidant à comprendre les tendances technologiques et à découvrir des applications de produits IA innovantes.
—— Créé par le groupe AIbase Daily
© Tous droits réservés AIbase基地 2024, cliquez pour voir la source -
