Le laboratoire IA de Shanghai publie XTuner, une boîte à outils d'entraînement de grands modèles, réduisant considérablement les coûts de formation

上海人工智能实验室

Publié leActualités IA · 2 minutes de lecture · Sep 20, 2023

152

Le laboratoire d'intelligence artificielle de Shanghai a récemment publié XTuner, une boîte à outils d'entraînement de modèles de grande taille à faible coût. Compatible avec plusieurs types de matériel, elle permet aux développeurs d'entraîner des « modèles de grande taille spécifiques » adaptés à des scénarios d'utilisation précis, même avec seulement 8 Go de mémoire vidéo grand public, réduisant ainsi considérablement le coût d'entraînement. XTuner est compatible avec plusieurs modèles open source tels que Shusheng·Puyu et Llama, et peut exécuter des tâches telles que le pré-entraînement incrémental et l'ajustement fin des instructions. Simultanément, il allie facilité d'utilisation et configurabilité, intégrant des processus standardisés pour le pré-entraînement incrémental, l'ajustement fin des instructions de dialogue à un et plusieurs tours, et l'ajustement fin des instructions pour les outils, permettant aux développeurs de se concentrer uniquement sur les données. XTuner renforce une fois de plus le rôle d'outil pratique du système open source complet du laboratoire IA de Shanghai dédié à la recherche et à l'application des grands modèles, contribuant ainsi au progrès technologique avec toutes les parties prenantes.

Volcan Engine lance PixelDance, une solution de prétraitement vidéo pour l'entraînement de grands modèles

Lors de sa récente conférence sur les technologies Cloud vidéo, Volcan Engine a annoncé une innovation majeure : une solution de prétraitement vidéo pour l'entraînement de grands modèles. Cette technologie a été appliquée avec succès au modèle de génération de vidéos Doubao, marquant une avancée significative dans la génération de vidéos par IA. Le président de Volcan Engine, Tan Dai, a souligné que l'AIGC et les technologies multimodales sont en train de transformer profondément l'expérience utilisateur. Fort de l'expérience de Douyin, Volcan Engine explore activement l'intégration des grands modèles d'IA et des technologies vidéo afin d'offrir des solutions complètes aux entreprises. Wang Yue, responsable de l'architecture vidéo du groupe Douyin, a indiqué que l'entraînement de grands modèles présentait de nombreux défis.

L'équipe de recherche d'Apple dévoile la technologie WRAP : pré-entraînement de grands modèles avec des données synthétiques, à faible coût et haute précision

Les grands modèles de langage suscitent un intérêt considérable au sein de la communauté de l'IA, démontrant des capacités impressionnantes. L'équipe de recherche d'Apple dévoile la technologie WRAP pour le pré-entraînement de grands modèles avec des données synthétiques. WRAP améliore les performances du modèle, réécrit les documents Web et améliore l'efficacité du pré-entraînement. L'utilisation de données synthétiques de haute qualité accélère l'entraînement, améliore les performances globales et ouvre de nouvelles voies.

ZTE lance un nouveau serveur IA pour l'entraînement de grands modèles

ZTE lance un nouveau serveur IA pour l'entraînement de grands modèles. Pour répondre aux besoins d'entraînement et d'inférence des modèles de petite et moyenne taille, ZTE lance la série de serveurs G5. ZTE prévoit de lancer cette année un nouveau serveur IA prenant en charge l'entraînement de grands modèles.

淘天集团 et Ai Orange Technology mettent en open source le framework d'entraînement de grands modèles linguistiques Megatron-LLaMA

Le framework Megatron-LLaMA, mis en open source par le groupe Taobao et Ai Orange Technology, améliore les performances d'entraînement des grands modèles linguistiques, réduit les coûts de formation et assure la compatibilité avec la communauté LLaMA. Il permet une accélération de 176% lors de l'entraînement sur 32 cartes.