Le laboratoire d'intelligence artificielle de Shanghai a présenté la nouvelle version d'InternLM2.5, un modèle de la série Shusheng·Puyu, lors du forum principal sur les avancées scientifiques du WAIC le 4 juillet 2024. Cette version voit ses capacités de raisonnement en scénarios complexes considérablement améliorées. Elle supporte un contexte ultralong de 1M et peut effectuer des recherches autonomes sur internet ainsi qu'intégrer les informations de plus d'une centaine de pages web.
InternLM2.5 est disponible en trois versions de paramètres : 1,8 B, 7 B et 20 B, afin de s'adapter aux différents scénarios d'application et aux besoins des développeurs. La version 1,8 B est un modèle ultraléger, tandis que la version 20 B offre des performances globales supérieures et prend en charge des scénarios pratiques plus complexes. Tous ces modèles sont open source et peuvent être trouvés sur la page d'accueil des grands modèles de la série Shusheng·Puyu, la page d'accueil de ModelScope et la page d'accueil de Hugging Face.
InternLM2.5 a bénéficié d'itérations sur plusieurs techniques de synthèse de données, améliorant considérablement ses capacités de raisonnement, notamment en atteignant un taux de précision de 64,7 % sur l'ensemble de tests mathématiques MATH. De plus, le modèle a amélioré sa capacité de traitement de la longueur du contexte grâce à un entraînement efficace en phase de pré-entraînement.
La série de modèles InternLM2.5 permet une intégration transparente avec les frameworks d'inférence et d'ajustement fin, notamment le framework d'ajustement fin XTuner et le framework d'inférence LMDeploy développés par le laboratoire d'intelligence artificielle de Shanghai, ainsi que d'autres frameworks communautaires largement utilisés tels que vLLM, Ollama et llama.cpp. L'outil SWIFT, lancé par la communauté MoDa, prend également en charge l'inférence, l'ajustement fin et le déploiement des modèles de la série InternLM2.5.
L'expérience utilisateur de ces modèles inclut le raisonnement complexe à plusieurs étapes, la compréhension précise des intentions de conversations à plusieurs tours, des opérations de contrôle de format flexible et la capacité de suivre des instructions complexes. Des guides d'installation et d'utilisation détaillés sont fournis pour permettre aux développeurs de se familiariser rapidement avec le système.
Page d'accueil des grands modèles de la série Shusheng·Puyu :
https://internlm.intern-ai.org.cn
Page d'accueil de ModelScope :
https://www.modelscope.cn/organization/Shanghai_AI_Laboratory?tab=model
Page d'accueil de Hugging Face :
https://huggingface.co/internlm
Lien open source d'InternLM2.5 :
https://github.com/InternLM/InternLM
