Stability AI est connu pour son modèle de génération d'images à partir de texte, Stable Diffusion. Récemment, la société a collaboré avec Arm, géant mondial des semi-conducteurs, pour intégrer des capacités d'intelligence artificielle de génération audio sur les appareils mobiles. Ce partenariat permet au modèle Stable Audio Open de fonctionner entièrement sur les processeurs Arm, permettant aux utilisateurs de générer rapidement des effets sonores, des échantillons audio et des éléments de production directement sur leur appareil, sans connexion internet.
Stability AI affirme que l'utilisation croissante de l'intelligence artificielle générative par les entreprises et les créateurs professionnels souligne l'importance de garantir que nos modèles et nos workflows soient facilement accessibles dans tous les domaines de la création. Cela améliore non seulement l'efficacité de la création, mais contribue également à l'intégration transparente de ces technologies dans les flux de production de médias visuels.
Face à la demande croissante, la société vise à améliorer l'efficacité de ses modèles sur les appareils périphériques. Lors de l'optimisation du modèle Stable Audio Open pour les appareils mobiles, les tests initiaux ont montré un temps de génération audio de 240 secondes sur un appareil avec processeur Arm. Grâce à la distillation du modèle et à l'utilisation de la pile logicielle Arm, notamment le noyau de multiplication matricielle int8 de KleidiAI via XNNPack, la société a réussi à réduire le temps de génération d'un fragment audio de 11 secondes à 8 secondes, soit une amélioration de la vitesse de réponse de 30 fois.
Il est important de noter que les utilisateurs ont besoin d'un appareil mobile compatible pour utiliser cette fonctionnalité. Étant donné que la plupart des smartphones actuels sont équipés de processeurs Arm, cette technologie est accessible à un large public. À l'avenir, Stability AI prévoit d'intégrer tous ses modèles dans les domaines de l'image, de la vidéo et de la 3D sur les appareils périphériques, dans le but de révolutionner la création de médias visuels sur les appareils mobiles.
Points clés :
🌟 Stability AI s'associe à Arm pour lancer une technologie de génération audio hors ligne sur les appareils mobiles.
⚡ Grâce à la distillation du modèle et à l'optimisation logicielle, le temps de génération audio est passé de 240 secondes à 8 secondes, soit un gain d'efficacité de 30 fois.
📱 Cette technologie est utilisable sur la plupart des smartphones équipés d'un processeur Arm, et sera étendue à d'autres domaines de création multimédia.
