2月18日,昆仑万维宣布开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1和中国首个SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1。这一举措旨在解决当前AI视频生成模型不开源、费用高、难以使用等问题,推动AI短剧行业的创新与发展。
SkyReels-V1是中国首个面向AI短剧创作的开源视频生成模型。该模型通过结合口型生成、表情生成和肢体生成等多个生成模块,实现了对人物表演细节的精细控制。SkyReels-V1利用千万级别的高质量好莱坞数据进行训练微调,显著提升了表情生成和肢体生成的可控表演效果。
SkyReels-V1支持33种细腻人物表情与400+种自然动作组合,能够高度还原真人情感表达。其生成的视频具备电影级光影美学和画面质感,能够实现影视级人物微表情表演生成。此外,SkyReels-V1不仅支持文生视频,还能支持图生视频,是开源视频生成模型中参数最大的支持图生视频的模型。
在技术实现上,SkyReels-V1依托昆仑万维自研的高质量数据清洗和人工标注管线,构建了千万级的高质量电影、电视剧和纪录片数据。团队还自研了「Human-Centric」的视频理解多模态大模型,提升了视频中人物相关的理解能力。
SkyReels-A1是首个SOTA级别的基于视频基座模型的表情动作可控算法。该算法支持视频驱动的电影级表情捕捉,实现高保真微表情还原。SkyReels-A1能够基于任意人体比例生成高度逼真的人物动态视频,其真实感源自对人物表情变化、情绪、皮肤肌理和身体动作等多维度细节的深度还原。
SkyReels-A1支持侧脸的表情控制生成,能够实现更加逼真的眉眼微表情生成和更大幅度的头部与自然身体动作。相比Runway的Act-One,SkyReels-A1在生成的视频中人物不失真,表演细节更真实,能够实现神情与身体动作的自然完美融合。
昆仑万维一直坚持开源,推动技术平权。自2023年8月以来,公司陆续开源了大语言模型「天工」Skywork-13B系列、数字智能体全流程研发工具包AgentStudio、「天工大模型3.0」4000亿参数MoE超级模型等多个模型。此次开源SkyReels-V1和SkyReels-A1,是AI短剧行业的首例,旨在为用户带来低成本、可控性更强的AIGC能力。
昆仑万维董事长兼CEO方汉表示,AIGC能力的出现将显著降低电影制作成本,推动文化的平权。未来,昆仑万维将继续开源更多视频生成模型和算法,推动AI短剧生态的持续建设和繁荣。
开源地址:
SkyReels-V1
https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1
https://github.com/SkyworkAI/SkyReels-A1
技术报告:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
SkyReels官方地址:skyreels.ai