VSP-LLM
结合视觉语音处理与大型语言模型的框架
普通产品编程视觉语音处理大型语言模型
VSP-LLM是一个结合视觉语音处理(Visual Speech Processing)与大型语言模型(LLMs)的框架,旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务,通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低秩适配器(LoRA),可以高效地进行训练。
VSP-LLM 最新流量情况
月总访问量
488643166
跳出率
37.28%
平均页面访问数
5.7
平均访问时长
00:06:37