Com o rápido desenvolvimento da tecnologia de vídeo, os vídeos se tornaram uma ferramenta essencial para a recuperação de informações e a compreensão de conceitos complexos. Os vídeos combinam dados visuais, temporais e contextuais, fornecendo uma representação multimodal que supera as imagens estáticas e o texto. Atualmente, com a proliferação de plataformas de compartilhamento de vídeo e o surgimento de uma grande quantidade de vídeos educacionais e informativos, o uso de vídeos como fonte de conhecimento oferece oportunidades sem precedentes para resolver consultas que exigem contexto detalhado, compreensão espacial e demonstrações de processos. No entanto, os sistemas atuais de geração de recuperação aumentada (RAG) geralmente ignoram todo o potencial dos dados de vídeo. Esses sistemas geralmente

A Twelve Labs desenvolveu uma tecnologia de IA inovadora capaz de analisar e pesquisar conteúdo de vídeo. Os usuários podem pesquisar por conteúdo específico, como "Quando a pessoa de camisa vermelha entrou no restaurante", e também gerar resumos automáticos de clipes de vídeo. Essa tecnologia já atraiu a atenção de grandes investidores, como Nvidia, Samsung e Intel. Em comparação com tecnologias existentes, como o Gemini do Google, a maior vantagem da Twelve Labs é sua alta personalização; os clientes podem treinar o modelo com seus próprios dados para atender às suas necessidades específicas.

Recentemente, a Visual China anunciou uma parceria estratégica com a Beijing Shengshu Technology Co., Ltd., para explorar e construir conjuntamente uma "plataforma e aplicações de modelos de IA para a indústria visual". Essa parceria visa aprofundar o uso da inteligência artificial na indústria de conteúdo visual e impulsionar a atualização inteligente da indústria, com o objetivo de fornecer serviços mais eficientes e inteligentes a criadores e usuários de conteúdo visual em todo o mundo.

A NVIDIA recentemente lançou um novo projeto de IA para busca e resumo de vídeos (AI Blueprint for Video Search and Summarization), uma solução tecnológica que mudará radicalmente as limitações da análise de vídeo tradicional. Ao contrário dos modelos fixos do passado que só conseguiam identificar objetos predefinidos, o novo projeto, combinando IA generativa, modelos de linguagem visual (VLM) e modelos de linguagem ampla (LLM), alcança uma compreensão profunda e interação natural com o conteúdo do vídeo. Este sistema é construído em N

Recentemente, a equipe do Meta AI apresentou o LongVU, um novo mecanismo de compressão adaptativa espaço-temporal projetado para melhorar a capacidade de compreensão de linguagem de vídeos longos. Os modelos de linguagem grandes multimodais (MLLMs) tradicionais enfrentam limitações de comprimento de contexto ao lidar com vídeos longos, e o LongVU foi criado para resolver esse problema. O LongVU funciona principalmente filtrando quadros repetidos, comprimindo tokens entre quadros, etc., para usar o comprimento do contexto de forma eficiente, podendo reduzir o vídeo mantendo os detalhes visuais.