Dans le domaine de l'IA, une nouvelle force est en train d'émerger. L'Institut d'innovation technologique d'Abou Dhabi (TII) a annoncé l'open source de son nouveau grand modèle Falcon2, un modèle de 11 milliards de paramètres qui attire l'attention du monde entier grâce à ses performances exceptionnelles et ses capacités multilingues.
Falcon2 existe en deux versions : une version de base, facile à déployer, capable de générer du texte, du code et des résumés ; et un modèle VLM avec des capacités de transformation visuelle, capable de convertir des informations d'images en texte, ce qui est extrêmement rare dans les grands modèles open source. Dans plusieurs classements de tests de droits, Falcon2 11B a surpassé le Llama 38B de Meta et s'est classé premier ex-aequo avec le Gemma 7B de Google, démontrant ainsi ses performances exceptionnelles.
Source : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney
Les capacités multilingues de Falcon2 11B lui permettent de traiter facilement des tâches dans plusieurs langues, notamment l'anglais, le français, l'espagnol, l'allemand et le portugais, augmentant ainsi son potentiel d'application dans différents contextes. En tant que grand modèle visuel, Falcon2 11B VLM possède un large potentiel d'application dans les secteurs des soins de santé, de la finance, du commerce électronique, de l'éducation et du droit, capable d'identifier et d'interpréter les images et le contenu visuel de l'environnement.
Falcon2 11B a été pré-entraîné sur RefinedWeb, son jeu de données open source, utilisant plus de 5,5 billions de jetons de données. Ce jeu de données est de haute qualité, filtré et dédoublonné. Le TII l'a enrichi en sélectionnant des données et a adopté une stratégie d'entraînement en quatre phases pour améliorer la capacité du modèle à comprendre le contexte.
Il est à noter que Falcon2 est un grand modèle performant et peu gourmand en ressources, pouvant fonctionner efficacement avec un seul GPU. Cela le rend hautement évolutif, facile à déployer et même intégrable dans des appareils légers tels que les ordinateurs portables. Cela offre une grande commodité aux petites et moyennes entreprises et aux développeurs individuels, et permet une utilisation commerciale.
Le Dr Hakim Hacid, directeur exécutif du département intercentres d'intelligence artificielle et chercheur principal par intérim du TII, a déclaré qu'avec l'évolution des technologies d'IA générative, les développeurs reconnaissent les avantages des modèles plus petits, notamment la réduction des besoins en ressources de calcul, le respect des normes de durabilité et une flexibilité accrue.
Dès mai 2023, le TII a publié en open source son premier grand modèle Falcon-40B, qui s'est classé premier au classement des grands modèles linguistiques open source de Hugging Face, battant ainsi une série de modèles open source renommés. Falcon-40B, entraîné sur un jeu de données de 1 000 milliards de jetons, peut être utilisé pour la question-réponse textuelle, la synthèse de résumés, la génération automatique de code, la traduction linguistique, etc., et prend en charge l'ajustement fin pour des scénarios métier spécifiques.
Fondé en 2020, le TII est un organisme de recherche relevant du Département de l'enseignement supérieur et de la science d'Abou Dhabi. Il vise à promouvoir la recherche scientifique, à développer des technologies de pointe et à les commercialiser afin de stimuler le développement économique d'Abou Dhabi et des Émirats arabes unis. Le TII compte actuellement plus de 800 experts en recherche issus de 74 pays, a publié plus de 700 articles et déposé plus de 25 brevets, faisant de lui l'un des principaux organismes de recherche scientifique au monde.
L'open source de Falcon2 représente non seulement l'engagement du TII envers le partage des technologies, mais aussi une exploration audacieuse du futur développement de l'IA. Falcon2 open source permettra de réduire les besoins en ressources de calcul, de respecter les normes de durabilité et d'améliorer la flexibilité, s'intégrant parfaitement aux nouvelles tendances des infrastructures IA de périphérie.
Adresse du modèle : https://huggingface.co/tiiuae/falcon-11B
