一家名为 Panjaya 的创业公司正在彻底改变视频翻译的游戏规则。经过三年秘密研发,该公司推出了突破性产品 BodyTalk,这是一款能够将视频中人物声音精准转换为其他语言的 AI 工具。不同于传统配音,BodyTalk 不仅能完美复制说话者的原声特征,还能自动调整视频中人物的面部表情和肢体动作,使其与新语言的语音模式自然匹配。Panjaya 由两位以色列政府深度学习专家希利克·沙尼(Hilik Shani)和阿里尔·沙洛姆(Ariel Shalom)创立。2021年,两人离开政府部门创业,随后迎来了具有丰富行业经验的
在创作引人入胜的视频时,除了视觉效果,音频同样扮演着重要角色。然而,寻找或制作合适的音效往往是一项耗时的工作。在 Adobe 的年度 MAX 大会上,他们展示了一款名为 Project Super Sonic 的实验性原型,这项技术可以通过文本生成音效、识别视频中的物体,甚至利用你的声音,快速为视频项目生成背景音效和音效。虽然通过文本提示生成音效的功能听起来很酷,但实际上,像 ElevenLabs 这样的公司已经在商业上提供了类似的服务。更有趣的是,Adobe 将这个功能更进一步,增加了两种创建音
国内首个纯自研原创视频大模型Vidu由生数科技和清华大学联合研发,新推出“主体参照”功能,解决了AI生成视频中的角色一致性问题。用户上传任意主体图片后,Vidu能确保该主体在不同场景下的一致性生成,适用于人物、动物、商品、动漫角色等。此功能免费开放,标志着AI视频创作进入新时代,未来将探索更精确控制多主体交互、风格统一及多变场景稳定切换等复杂元素,以满足更高层次的叙事需求。中央广播电视总台导演石宇翔使用此功能创作动画短片《夏日的礼物》,表示生成的画面更具感染力和自由度,连贯性大大提升。
MiniMax推出首款AI高清视频生成模型后,其子公司海螺AI新增了“AI创作音乐”与“AI生成视频”功能。用户可通过歌词创作与曲风选择自动生成音乐,输入创意描述即可生成视频。音乐功能提供多种曲风,生成的音乐质量一般;视频功能则能根据输入描述自动创作,展示效果较为意境,但画质仍有提升空间。目前,这两项功能正限时免费供用户体验。