L'Institut de Recherche sur l'Intelligence Artificielle (AIRS) a publié Aquila2-34B, son nouveau modèle linguistique open-source bilingue chinois-anglais le plus performant. Ce nouveau modèle, également connu sous le nom de "Wudao·Tianying 340 milliards", excelle dans le raisonnement et la généralisation, obtenant d'excellents résultats dans des domaines tels que les agents intelligents, la génération de code et la recherche documentaire.
AIRS a également publié une suite complète d'outils open-source, comprenant la série de modèles Aquila2, une nouvelle version du modèle de vecteur sémantique BGE, le framework d'entraînement parallèle haute performance FlagScale, et l'ensemble d'opérateurs Attention haute performance FlagAttention. Ces projets open-source favoriseront l'innovation collaborative dans la recherche sur les grands modèles linguistiques.
Le modèle de base Aquila2-34B surpasse les autres modèles de base open-source en termes de capacités globales. L'équipe AIRS a également développé la méthode NLPE pour améliorer les capacités d'extrapolation du modèle. En termes de raisonnement, Aquila2-34B se situe juste derrière GPT4.