AI21Labs a récemment publié son dernier modèle linguistique de grande taille, Jamba 1.6, considéré comme le modèle le plus puissant et le plus efficace du marché pour le traitement de longs textes. Comparé aux modèles Transformer traditionnels, Jamba se distingue par sa vitesse et sa qualité supérieures pour le traitement de contextes longs, affichant une vitesse d'inférence 2,5 fois plus rapide que ses concurrents, marquant ainsi une avancée technologique significative.
La série Jamba 1.6 comprend Jamba Mini (1,2 milliard de paramètres) et Jamba Large (9,4 milliards de paramètres), optimisés pour les applications commerciales. Ils offrent des fonctionnalités d'appel de fonctions, de sortie structurée (comme JSON) et de génération réaliste. Ces modèles ont un large éventail d'applications, allant des assistants intelligents d'entreprise à la recherche académique.
Ce modèle est publié sous la licence open source Jamba Open Model License, autorisant son utilisation à des fins de recherche et commerciales sous réserve du respect des conditions générales. De plus, la date limite des connaissances de la série Jamba 1.6 est le 5 mars 2024. Il prend en charge plusieurs langues, notamment l'anglais, l'espagnol, le français, le portugais, l'italien, le néerlandais, l'allemand, l'arabe et l'hébreu, garantissant ainsi son adaptation aux besoins des utilisateurs du monde entier.
En termes de performances, Jamba Large 1.6 a excellé dans plusieurs tests de référence. Il a obtenu des scores supérieurs à ceux de ses concurrents sur des tests standard tels qu'Arena Hard, CRAG et FinanceBench, démontrant ainsi ses capacités exceptionnelles de compréhension et de génération du langage. Ses performances sont particulièrement remarquables pour le traitement de longs textes.
Pour une inférence efficace, les utilisateurs de Jamba doivent installer les bibliothèques Python nécessaires et disposer d'un appareil CUDA pour exécuter le modèle. Le modèle peut être exécuté via les frameworks vLLM ou transformers. Avec le support de GPU à grande échelle, Jamba Large 1.6 peut traiter des contextes jusqu'à 256 000 jetons, une capacité inégalée par les modèles précédents.
Modèle : https://huggingface.co/ai21labs/AI21-Jamba-Large-1.6
Points clés :
🌟 Jamba 1.6 : traitement de longs textes plus rapide et plus précis, multi-langues.
🚀 Licence open source autorisant la recherche et l'utilisation commerciale, favorisant le partage des technologies.
💡 Performances exceptionnelles dans plusieurs tests de référence, surpassant les produits concurrents.