A Rhymes AI lançou recentemente seu modelo revolucionário de geração de vídeo texto-imagem para vídeo, Allegro-TI2V, uma tecnologia inovadora que abre novas fronteiras para a criação de conteúdo digital. Como o mais recente avanço em IA generativa, o Allegro-TI2V oferece aos criadores ferramentas de narrativa visual sem precedentes, representando um enorme potencial da tecnologia de IA no campo criativo.
O Allegro-TI2V apresenta desempenho excepcional em várias especificações técnicas, suportando um comprimento de contexto de até 79.2K, equivalente a 88 quadros de vídeo. Sua resolução de saída é de 720×1280 pixels, com uma velocidade de geração de vídeo de 15 quadros por segundo. Os usuários também podem optar por interpolação para 30 FPS, para atender às necessidades de diferentes cenários de aplicação. A arquitetura do modelo é bastante complexa, incluindo um modelo VideoVAE com 175 milhões de parâmetros e um modelo VideoDiT com 2,8 bilhões de parâmetros, permitindo que ele capture com precisão a essência das instruções de texto e da imagem inicial inseridas pelo usuário. Além disso, o Allegro-TI2V suporta modos de precisão múltipla (FP32, BF16, FP16). No modo BF16, a geração de vídeo requer apenas 9,3 GB de memória GPU, reduzindo significativamente a necessidade de hardware.
A inovação do Allegro-TI2V reside na introdução de dois novos modos de geração: Geração de vídeo subsequente: com base em prompts de texto e quadro inicial, cria conteúdo de vídeo contínuo. Este modo ajuda os criadores a gerar facilmente vídeos que correspondam ao tema e estilo definidos. Geração de vídeo intermediário: com base nos quadros inicial e final de um vídeo fornecido, gera quadros intermediários com transição natural, quebrando as limitações tradicionais de tempo e espaço da edição de vídeo.
Esses modos inovadores permitem que o Allegro-TI2V ofereça aos criadores uma maneira mais eficiente e flexível de criar vídeos, melhorando significativamente a eficiência e a qualidade da criação.
A Rhymes AI lançou o Allegro-TI2V sob a licença Apache2.0, facilitando o acesso e o uso dessa tecnologia por pesquisadores, desenvolvedores e criadores de conteúdo. Os usuários precisam apenas instalar Python3.10+, PyTorch2.4+ e CUDA12.4+ para começar a usar e experimentar rapidamente essa tecnologia avançada.
As perspectivas de aplicação do Allegro-TI2V são extremamente amplas, desde produção cinematográfica e desenvolvimento de jogos até arte digital e protótipos criativos, podendo explorar plenamente sua poderosa capacidade de geração. De acordo com os dados fornecidos pelos desenvolvedores, uma única GPU H100 pode gerar 6 segundos de vídeo em aproximadamente 20 minutos, enquanto uma configuração com 8 GPUs H100 reduz o tempo de geração para 3 minutos, melhorando significativamente a eficiência da criação de conteúdo de vídeo.
Endereço de uso: https://huggingface.co/rhymes-ai/Allegro-TI2V
Endereço do produto: https://rhymes.ai/blog-details/allegro-advanced-video-generation-model
