Recentemente, o Kuaishou lançou oficialmente uma versão em vídeo do modelo ControlNet, nomeando-o de “CineMaster3D, estrutura de geração de texto para vídeo com percepção”. O lançamento dessa tecnologia inovadora, sem dúvida, revolucionará a área de criação de vídeos, permitindo que os usuários manipulem o conteúdo de vídeo com precisão e liberdade sem precedentes.

A principal vantagem da tecnologia ControlNet reside em sua poderosa capacidade de controle. Ela permite que os usuários guiem o conteúdo gerado pela IA por meio de sinais de controle adicionais, resultando em criações mais precisas e alinhadas com as intenções do usuário. O framework CineMaster lançado pelo Kuaishou estende essa vantagem do ControlNet para o campo de vídeo.

O ponto mais notável do framework CineMaster é sua capacidade de controlar precisamente a posição dos objetos e o movimento da câmera. Os usuários podem ajustar finamente a posição dos elementos no vídeo, a trajetória de movimento e a linguagem geral da câmera por meio da entrada de sinais de controle, como mapas de profundidade, trajetórias da câmera e etiquetas de objetos. Isso significa que os criadores não precisam mais depender totalmente da "livre criação" da IA, mas podem, como um "Pincel Mágico", descrever precisamente a imagem de vídeo em suas mentes.

Ainda mais surpreendente é que o Kuaishou também lançou simultaneamente um processo para extrair caixas delimitadoras 3D e trajetórias de câmera de vídeos em larga escala. Essa tecnologia significa que os usuários não apenas podem criar vídeos controláveis ​​do zero, mas também podem criar vídeos existentes, extrair informações 3D dos vídeos e usá-las para realizar efeitos de edição avançados, como transferência de estilo e substituição de cenas, expandindo ainda mais as possibilidades de criação de vídeo.

O lançamento do CineMaster sinaliza que a criação de conteúdo de vídeo está entrando em uma nova era inteligente. Ele reduz o limiar técnico de produção de vídeo profissional, permitindo que um público mais amplo crie facilmente conteúdo de vídeo de alta qualidade e personalizado. Tanto criadores profissionais quanto usuários comuns se beneficiarão disso, desfrutando dos dividendos criativos trazidos pelo progresso tecnológico. Essa iniciativa do Kuaishou, sem dúvida, consolidará ainda mais sua posição de liderança no campo de vídeos curtos e tecnologia de IA, impulsionando a inovação tecnológica e o desenvolvimento próspero do ecossistema de conteúdo em todo o setor.

Endereço do projeto: https://cinemaster-dev.github.io/