在视频理解领域，传统的AI模型往往只能处理时长较短的视频，面对几小时甚至更长的视频内容时显得力不从心。这主要是因为这些模型在处理长视频时会遇到“噪声与冗余”以及“内存与计算”限制。现在，一种名为Goldfish的新技术改变了这一局面。
产品入口：https://top.aibase.com/tool/goldfish
Goldfish是一种专门设计用于处理任意长度视频的方法。它采用了一种高效的检索机制，可以先从长视频中提取出与指令最相关的前K个视频片段，然后基于这些片段生成最终的回答。这样，Goldfish能够高效地处理如电影或电视剧这样的长视频内容。
为了实现这一目标，Goldfish团队还开发了MiniGPT4-Video，这是一种可以为视频片段生成详细描述的工具。通过将视频帧和字幕结合在一起，MiniGPT4-Video可以准确地理解视频中的视觉和文本信息，从而提升了处理长视频的能力。
此外，团队还提出了TVQA-long这一基准测试，用于评估模型在理解长视频方面的能力。Goldfish在这一测试中的准确率达到了41.78%，超越了之前的技术。
不仅如此，Goldfish在短视频理解方面也表现优异。在MSVD、MSRVTT、TGIF和TVQA等多个短视频基准测试中，Goldfish的表现都超过了现有的最先进方法，显示了它在短视频处理上的强大实力。
Goldfish通过创新的检索机制和高效的描述生成方法，成功克服了处理长视频的难题，同时在短视频理解方面也取得了显著突破。
**划重点:**
Goldfish通过高效的检索机制和MiniGPT4-Video的描述生成技术，成功处理了任意长度的视频，解决了传统模型在处理长视频时的困难。
在TVQA-long基准测试中，Goldfish的准确率达到了41.78%，超越了之前的技术水平，展示了其强大的处理能力。
Goldfish在多个短视频基准测试中表现优异，超越了现有最先进的方法，证明了其在短视频理解方面的综合能力。
