Auf der jüngsten Videowolkentechnologiekonferenz stellte Volcano Engine eine wichtige Innovation vor: eine Lösung zur Vorverarbeitung von Videos für das Training großer Sprachmodelle. Diese Technologie wurde bereits erfolgreich im Videoerzeugungsmodell Doubao eingesetzt und markiert einen bedeutenden Fortschritt in der KI-Videogenerierung.
Tan Dai, Präsident von Volcano Engine, betonte, dass AIGC und Multimodaltechnologien das Benutzererlebnis tiefgreifend verändern. Basierend auf den Erfahrungen mit Douyin erforscht Volcano Engine aktiv die Integration von KI-Großmodellen und Videotechnologien, um Unternehmen umfassende Lösungen anzubieten.
Wang Yue, Leiter der Videoarchitektur bei Douyin Group, wies darauf hin, dass das Training großer Sprachmodelle vor zahlreichen Herausforderungen steht, darunter hohe Kosten für die Verarbeitung riesiger Datenmengen, uneinheitliche Datenqualität, komplexe Verarbeitungsketten und die Orchestrierung verschiedener heterogener Rechenressourcen.
Um diesen Herausforderungen zu begegnen, hat Volcano Engine eine Vorverarbeitungslösung entwickelt, die auf dem selbst entwickelten Multimedia-Verarbeitungsframework BMF basiert und die vielfältigen Rechenressourcen von Intel nutzt. Diese Lösung wurde auf Algorithmus- und Engineering-Ebene optimiert und kann große Datenmengen effizient verarbeiten, wodurch die Effizienz des Modelltrainings deutlich gesteigert wird.
Darüber hinaus hat Volcano Engine eine Lite-Version der mobilen Nachverarbeitungslösung BMF veröffentlicht, die die Integration von großen Modellen auf Endgeräten und die Beschleunigung von Operatoren unterstützt und leichter und universeller ist.
Bemerkenswert ist, dass das am 24. September veröffentlichte Videoerzeugungsmodell Doubao PixelDance bereits diese Technologielösung verwendet. Dieses Modell verwendet die DiT-Architektur und überwindet die komplexen Interaktionen von Mehrkörperbewegungen und die Herausforderungen der Konsistenz bei mehreren Kameraschwenks. Derzeit wird das Videoerzeugungsmodell Doubao über Volcano Engine Unternehmen zur Testphase angeboten.