L'Institut d'innovation technologique (TII), soutenu par le gouvernement des Émirats arabes unis, a récemment annoncé le lancement de sa nouvelle génération de modèles linguistiques petits (SLM) open source : la série Falcon3. Cette série comprend quatre modèles de tailles différentes : 1B, 3B, 7B et 10B, et est disponible en deux variantes, de base et avec instructions, afin d'offrir aux développeurs, aux chercheurs et aux entreprises une solution IA efficace et économique.
Source : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney
Falcon3 s'est distingué sur le classement Hugging Face, surpassant les modèles open source de taille comparable, tels que Llama de Meta et Qwen-2.5. Les versions 7B et 10B en particulier ont démontré une supériorité technologique en termes de vitesse d'inférence, de compréhension du langage, d'exécution d'instructions, ainsi que de tâches de codage et de mathématiques, surpassant même des concurrents comme Google, Meta et Alibaba dans plusieurs tests de référence.
Comparés aux grands modèles linguistiques (LLM) traditionnels, les modèles SLM, grâce à leurs paramètres réduits et à leur conception plus simple, offrent des avantages en termes d'efficacité et de faible coût, particulièrement adaptés aux applications dans les domaines du service client, des soins de santé et de l'Internet des objets. Selon Valuates Reports, le marché des SLM devrait connaître une croissance annuelle moyenne de 18 % au cours des cinq prochaines années.
La série Falcon3 a été entraînée sur un corpus de données de 14 000 milliards de jetons, soit plus du double de son prédécesseur, Falcon2. Cette série utilise une architecture de décodeur uniquement et un mécanisme d'attention de requête groupée, minimisant ainsi l'utilisation de la mémoire tout en améliorant l'efficacité de l'inférence. Falcon3 prend en charge quatre langues : anglais, français, espagnol et portugais, et est équipé d'une fenêtre contextuelle de 32 K, capable de traiter de longs textes d'entrée, répondant ainsi aux besoins de divers secteurs.
Le TII indique que le modèle de base Falcon3 convient aux tâches générales, tandis que la version avec instructions est optimisée pour les tâches conversationnelles telles que le service client et les assistants virtuels. Le lancement de cette série stimulera davantage le développement de l'informatique de pointe et des applications sensibles à la confidentialité, prenant en charge des scénarios tels que les recommandations personnalisées, l'analyse de données, le diagnostic médical et l'optimisation de la chaîne d'approvisionnement.
Tous les modèles Falcon3 sont publiés sous la licence TII Falcon License 2.0, une licence permissive basée sur Apache 2.0, qui encourage le développement et le déploiement responsables de l'IA. Pour aider les développeurs et les chercheurs à démarrer, le TII a également lancé l'environnement de test Falcon Playground, permettant aux utilisateurs d'essayer les modèles avant de les intégrer.