最近，新加坡国立大学的Wenyi Yu及其团队提出了一项名为video-SALMONN的新技术，它不仅能够理解视频中的视觉帧序列、音频事件和音乐，更重要的是，它能够理解视频中的语音内容。这项技术的提出标志着我们在让机器理解视频内容方面迈出了重要一步。

["SALMONN是音频-文本多模型大型语言模型框架，旨在拓展大型语言模型对通用听觉领域的理解和处理能力。","框架整合了非语音BEATs音频编码器、OpenAI Whisper框架的语音编码器和窗口级Q-Former等组件，实现高水平的时间分辨率，用于音频-文本对齐。","经过激活调整阶段，SALMONN在音频字幕、语音翻译等任务中取得竞争性性能，展现了通用听觉能力。","SALMONN框架的多模态架构和激活调整阶段的引入标志着大型语言模型向通用听觉能力迈出重要一步，为多种音频和语音任务提供了新的可能性。"]