Los modelos tradicionales de comprensión de video enfrentan muchos desafíos al procesar videos largos, incluida la complejidad del contexto en videos extensos. Aunque se han realizado varias investigaciones para mejorar la capacidad de comprensión de video, sigue siendo difícil superar eficazmente la baja eficiencia en el entrenamiento y la inferencia. Para abordar estos problemas, el equipo de investigación utiliza la tecnología HiCo para comprimir las partes redundantes de la información del video, reduciendo así significativamente la demanda computacional mientras se conserva la información clave. Específicamente, HiCo comprime el video jerárquicamente, dividiendo el video largo en segmentos cortos para reducir el procesamiento.

En la reciente conferencia de tecnología de video en la nube de Volcan Engine, se presentó una innovación importante: una solución de preprocesamiento de video para el entrenamiento de modelos grandes. Esta tecnología se ha aplicado con éxito al modelo de generación de video Doubao, lo que marca un avance significativo en la tecnología de generación de video con IA. El presidente de Volcan Engine, Tan Dai, destacó que la AIGC y las tecnologías multimodales están cambiando profundamente la experiencia del usuario. Basándose en la experiencia práctica de Douyin, Volcan Engine está explorando activamente la fusión de modelos grandes de IA y tecnología de video para ofrecer soluciones integrales a las empresas. El responsable de arquitectura de video del grupo Douyin, Wang Yue, señaló que el entrenamiento de modelos grandes presenta numerosos desafíos.