Stability AI ist bekannt für sein textbasiertes Bildgenerierungsmodell Stable Diffusion. Kürzlich hat das Unternehmen eine Partnerschaft mit dem globalen Halbleiterriesen Arm geschlossen, um die Möglichkeiten der KI-gestützten Audiogenerierung auf mobile Geräte zu bringen. Durch diese Zusammenarbeit kann das Stable Audio Open-Modell vollständig auf Arm-CPUs ausgeführt werden. Benutzer können so schnell Soundeffekte, Audio-Samples und Produktionselemente auf ihrem Gerät erstellen – ganz ohne Internetverbindung.
Stability AI erklärt, dass angesichts der zunehmenden Nutzung generativer KI in Unternehmen und bei professionellen Kreativen die einfache Nutzbarkeit unserer Modelle und Workflows in allen kreativen Bereichen von entscheidender Bedeutung ist. Dies steigert nicht nur die Effizienz, sondern hilft auch bei der nahtlosen Integration dieser Technologien in visuelle Medienproduktionsprozesse.
Um der wachsenden Nachfrage gerecht zu werden, zielt das Unternehmen darauf ab, die Effizienz seiner Modelle auf Edge-Geräten zu verbessern. Bei der Optimierung des Stable Audio Open-Modells für mobile Geräte betrug die anfängliche Generierungszeit für Audio auf einem Arm-CPU-Gerät 240 Sekunden. Durch Modelldestillation und die Nutzung des Arm-Software-Stacks, insbesondere des int8-Matrixmultiplikationskerns von XNNPack in KleidiAI, konnte die Zeit zur Generierung eines 11-Sekunden-Audiofragments auf 8 Sekunden verkürzt werden – eine 30-fache Steigerung der Geschwindigkeit.
Es ist zu beachten, dass Benutzer ein kompatibles mobiles Gerät benötigen, um diese Funktion nutzen zu können. Da die meisten Smartphones heutzutage mit Arm-CPUs ausgestattet sind, ist diese Technologie für eine breite Palette von Benutzern zugänglich. Zukünftig plant Stability AI, alle seine Modelle in den Bereichen Bild, Video und 3D auf Edge-Geräte zu bringen, um die visuelle Medienproduktion auf mobilen Geräten grundlegend zu verändern.
Wichtigste Punkte:
🌟 Stability AI kooperiert mit Arm und bringt eine Technologie zur Offline-Audiogenerierung auf mobile Geräte heraus.
⚡ Durch Modelldestillation und Softwareoptimierung wurde die Audiogenerierungszeit von 240 Sekunden auf 8 Sekunden reduziert – eine 30-fache Effizienzsteigerung.
📱 Diese Technologie funktioniert auf den meisten Smartphones mit Arm-CPU und wird zukünftig auf weitere Bereiche der Medienproduktion ausgeweitet.