Microsoft a publié en open source LongLLMLingua, une technologie permettant de compresser les invites textuelles des modèles. Grâce à LongLLMLingua, il est possible de compresser les invites textuelles jusqu'à 20 fois, ce qui permet de réduire considérablement les coûts de calcul de l'IA. Les résultats expérimentaux montrent que les invites compressées non seulement améliorent les performances du modèle, mais réduisent également la latence. Cette technologie présente un large potentiel d'application dans les contextes de longs textes.