Vista-LLaMA

利用视觉令牌与语言令牌的等距离关系,实现可靠的视频叙述。

普通产品视频视频创作AI动画制作
Vista-LLaMA是一种先进的视频语言模型,旨在改善视频理解。它通过保持视觉令牌与语言令牌之间的一致距离,无论生成文本的长度如何,都能减少与视频内容无关的文本产生。这种方法在计算视觉与文本令牌之间的注意力权重时省略了相对位置编码,使视觉令牌在文本生成过程中的影响更为显著。Vista-LLaMA还引入了一个顺序视觉投影器,能够将当前视频帧投影到语言空间的令牌中,捕捉视频内的时间关系,同时减少了对视觉令牌的需求。在多个开放式视频问答基准测试中,该模型的表现显著优于其他方法。
打开网站

Vista-LLaMA 替代品