Le laboratoire d'intelligence artificielle de Shanghai a annoncé une mise à jour majeure de son grand modèle linguistique Shusheng, lançant Shusheng・Pǔyǔ 3.0 (InternLM3). Selon le laboratoire, la nouvelle version, grâce à un cadre de données raffiné, améliore considérablement l'efficacité de l'utilisation des données, permettant ainsi d'accroître la densité de la pensée.
Le modèle InternLM3-8B-Instruct de cette mise à jour a été entraîné avec seulement 4 To de données. Les développeurs affirment que ses performances globales surpassent celles des modèles open source de taille comparable, avec une réduction des coûts de formation de plus de 75 %. Il est important de noter que cette version réalise pour la première fois, dans un modèle généraliste, la fusion des capacités de conversation courante et de réflexion approfondie, permettant une meilleure adaptation aux scénarios d'utilisation réels et diversifiés.
Pour l'évaluation du modèle, l'équipe de recherche a utilisé une méthode unifiée et reproductible basée sur le framework d'évaluation open source Sīnán OpenCompass. L'évaluation porte sur plus d'une dizaine de jeux de données d'évaluation reconnus, tels que CMMLU et GPQA, couvrant plusieurs dimensions : raisonnement, mathématiques, programmation, suivi d'instructions, génération de longs textes, conversation et performances globales. Les résultats montrent que Shusheng・Pǔyǔ 3.0 obtient les meilleurs scores sur la plupart des jeux de données d'évaluation, avec des performances globales très proches de celles de GPT-4o-mini.
Le laboratoire IA de Shanghai a également déclaré que cette nouvelle version du modèle est le premier modèle de conversation généraliste du monde open source à prendre en charge l'utilisation sur navigateur, permettant plus de 20 sauts de pages web pour une exploration approfondie des informations.
Page d'expérience : https://internlm-chat.intern-ai.org.cn.
Points clés :
🌟 Le modèle Shusheng・Pǔyǔ 3.0, entraîné avec 4 To de données, surpasse les modèles open source de taille comparable en termes de performances globales, avec une réduction des coûts de formation de plus de 75 %.
📊 Le modèle obtient les meilleurs scores sur plusieurs jeux de données d'évaluation reconnus, la fusion des capacités de pensée et de conversation améliorant considérablement ses performances.
🌐 Le nouveau modèle est compatible avec les navigateurs web, permettant une exploration approfondie des informations et constituant ainsi un point fort de la communauté open source.