近日,魔乐社区(Modelers)正式上线了由阶跃星辰研发的 Step-Video 和 Step-Audio 两款开源多模态大模型。这两款模型分别用于视频生成和语音交互,旨在为开发者和企业用户提供更强大的 AI 工具。
Step-Video 模型的全名为 Step-Video-T2V,这是一款参数量高达300亿的全球最大开源视频生成模型。该模型能够直接生成204帧、540P 分辨率的高质量视频,并在指令遵循、运动平滑性、物理合理性以及美感等方面,表现超越了市场上现有的顶尖开源视频模型。另一方面,Step-Audio 则是业内首款能够生成多种情感、方言、语言、唱腔和个性化风格的语音的大模型。这一技术的发布,标志着 AI 语音交互领域的一次重要突破。
图源备注:图片由AI生成,图片授权服务商Midjourney
值得一提的是,这些模型是基于华为昇腾 CANN 异构计算架构和昇腾服务器进行适配的。开发者和企业用户可以在魔乐社区中便捷地下载和体验这些模型。为了进一步降低使用门槛,魔乐社区还提供免费算力支持,让用户可以在线进行模型推理,而无需复杂的环境搭建,快速验证他们的 AI 方案。
此外,阶跃星辰的开源模型受到了多个行业标杆企业的关注,包括天数智芯、阿里云、火山引擎、TCL 等各行各业的厂商已纷纷接入这一开源生态。未来,阶跃星辰计划在3月份推出新的图生视频模型,进一步丰富其产品线。
华为昇腾与阶跃星辰的这一合作不仅拓展了多模态 AI 模型的应用场景,也为开发者提供了更为强大的工具,推动了整个行业的技术进步。