最近，新加坡国立大学的Wenyi Yu及其团队提出了一项名为video-SALMONN的新技术，它不仅能够理解视频中的视觉帧序列、音频事件和音乐，更重要的是，它能够理解视频中的语音内容。这项技术的提出标志着我们在让机器理解视频内容方面迈出了重要一步。

["NExT-GPT 是新加坡国立大学开源的多模态语言模型，支持处理文本、图像、视频和音频，为多媒体人工智能应用提供强大支持。","采用三层架构，包括线性投影、Vicuna LLM 核心和模态特定的转换层，通过 MosIT 技术进行中间层训练。","开源贡献使研究者和开发者能够创建集成多模态输入的应用，潜在应用领域广泛。","NExT-GPT 独特之处在于能够根据用户请求生成模态信令标记，为不同媒体类型的人工智能应用提供了新的可能性。"]