Lors de sa récente conférence sur les technologies Cloud vidéo, Volcan Engine a annoncé une innovation majeure : une solution de prétraitement vidéo pour l'entraînement de grands modèles. Cette technologie a été appliquée avec succès au modèle de génération de vidéos Doubao, marquant une avancée significative dans la génération de vidéos par IA. Le président de Volcan Engine, Tan Dai, a souligné que l'AIGC et les technologies multimodales sont en train de transformer profondément l'expérience utilisateur. Fort de l'expérience de Douyin, Volcan Engine explore activement l'intégration des grands modèles d'IA et des technologies vidéo afin d'offrir des solutions complètes aux entreprises. Wang Yue, responsable de l'architecture vidéo du groupe Douyin, a indiqué que l'entraînement de grands modèles présentait de nombreux défis.

Les grands modèles de langage suscitent un intérêt considérable au sein de la communauté de l'IA, démontrant des capacités impressionnantes. L'équipe de recherche d'Apple dévoile la technologie WRAP pour le pré-entraînement de grands modèles avec des données synthétiques. WRAP améliore les performances du modèle, réécrit les documents Web et améliore l'efficacité du pré-entraînement. L'utilisation de données synthétiques de haute qualité accélère l'entraînement, améliore les performances globales et ouvre de nouvelles voies.

ZTE lance un nouveau serveur IA pour l'entraînement de grands modèles. Pour répondre aux besoins d'entraînement et d'inférence des modèles de petite et moyenne taille, ZTE lance la série de serveurs G5. ZTE prévoit de lancer cette année un nouveau serveur IA prenant en charge l'entraînement de grands modèles.

Le laboratoire IA de Shanghai publie XTuner, une boîte à outils d'entraînement de grands modèles prenant en charge l'adaptation à plusieurs types de matériel et réduisant considérablement le coût d'entraînement. XTuner est compatible avec plusieurs grands modèles open source et permet d'exécuter des tâches de pré-entraînement incrémental et d'ajustement des instructions. XTuner allie facilité d'utilisation et configurabilité, avec un processus standardisé intégré permettant de lancer l'entraînement en un clic.

Le framework Megatron-LLaMA, mis en open source par le groupe Taobao et Ai Orange Technology, améliore les performances d'entraînement des grands modèles linguistiques, réduit les coûts de formation et assure la compatibilité avec la communauté LLaMA. Il permet une accélération de 176% lors de l'entraînement sur 32 cartes.