O laboratório ARC da Tencent, em colaboração com a City University de Hong Kong, lançou recentemente um projeto de pesquisa inovador chamado "AnimeGamer". Esta ferramenta única permite simulações infinitas de vida em anime e possui a capacidade de prever o próximo estado do jogo. Isso significa que os usuários terão a oportunidade de imergir em seus mundos de anime favoritos de uma maneira sem precedentes, interagindo em tempo real com o ambiente dinâmico do jogo através de comandos de linguagem natural abertos.
Encarne o protagonista do anime e desfrute de interações infinitas
O recurso mais notável do AnimeGamer é sua capacidade de gerar vídeos de animação de comprimento infinito com consistência temática, atribuindo dados como energia e humor aos personagens. Os usuários não apenas podem interpretar personagens de animes clássicos, como Sousuke de "Ponyo", mas também podem interagir com o mundo ao seu redor por meio de comandos de linguagem simples.
Ainda mais emocionante é a capacidade do AnimeGamer de quebrar as barreiras entre dimensões, permitindo a interação de personagens de diferentes obras de anime.
Imagine Kiki de "Kiki's Delivery Service" encontrando Pazu de "Laputa: Castle in the Sky", com Kiki ensinando Pazu suas técnicas de voo. Cenários como este são possíveis no AnimeGamer. Esta ferramenta demonstra sua poderosa capacidade de generalização, capaz de entender e executar interações entre diferentes personagens e ações de anime, abrindo um espaço criativo ilimitado para os usuários.
Avanço tecnológico: Experiência imersiva impulsionada por modelos de linguagem grandes multimodais
A capacidade impressionante do AnimeGamer se deve ao uso de modelos de linguagem grandes multimodais (MLLMs) de ponta. Este modelo é responsável por gerar cada quadro do estado do jogo, incluindo animações de personagens vívidas e atualizações de seus valores.
O processo de treinamento do AnimeGamer é dividido em três etapas principais: primeiro, um codificador modela dados multimodais contendo informações de movimento, e um decodificador baseado em modelo de difusão é treinado para reconstruir o vídeo, também inserindo informações de alcance de movimento que representam a intensidade do movimento; segundo, um MLLM é treinado, usando os comandos históricos do usuário e o estado atual do jogo como entrada para prever várias manifestações do próximo estado do jogo; finalmente, em uma etapa de otimização, os resultados de previsão do MLLM são usados para ajustar o decodificador, melhorando ainda mais a qualidade da animação gerada.
O lançamento do AnimeGamer, sem dúvida, injetou nova vitalidade nos entusiastas da cultura anime e no campo da pesquisa de inteligência artificial. Seus recursos principais, simulação infinita de vida em anime impulsionada por interação de linguagem natural e previsão do estado futuro do jogo, demonstram plenamente o enorme potencial dos modelos de linguagem grandes multimodais na geração de conteúdo criativo. À medida que mais recursos forem desbloqueados e aprimorados, o AnimeGamer tem o potencial de se tornar uma nova plataforma de interação de anime repleta de possibilidades e surpresas infinitas.
Link do projeto: https://top.aibase.com/tool/animegamer