Recentemente, uma equipe de pesquisa lançou em conjunto um modelo de geração de imagens de IA de código aberto chamado Meissonic. Surpreendentemente, este modelo usa apenas um bilhão de parâmetros, mas ainda consegue gerar imagens de alta qualidade. Este design compacto dá ao Meissonic o potencial de habilitar aplicativos de texto para imagem localizados em dispositivos móveis.
Por trás desta tecnologia está uma equipe de desenvolvimento que inclui pesquisadores da Alibaba, Skywork AI e várias universidades. Eles empregaram uma arquitetura de transformador única e um novo método de treinamento, permitindo que o Meissonic seja executado em um PC gamer comum e, possivelmente, em telefones celulares no futuro.
O método de treinamento do Meissonic utiliza uma técnica chamada "modelagem de imagem mascarada". Simplificando, durante o treinamento, parte da imagem é ocultada. O modelo aprende a reconstruir as partes ausentes com base nas áreas visíveis e na descrição de texto. Este método ajuda o modelo a entender a relação entre os elementos da imagem e o texto.
A arquitetura do Meissonic permite que ele gere imagens de alta resolução de 1024x1024 pixels, lidando facilmente com cenas realistas, textos estilizados, memes e até mesmo adesivos de desenhos animados.
Diferentemente dos modelos autoregressivos tradicionais que geram imagens gradualmente, o Meissonic usa otimização iterativa paralela para prever todas as informações da imagem simultaneamente. Esta inovação reduz significativamente as etapas de decodificação, em cerca de 99%, aumentando drasticamente a velocidade de geração de imagens.
Durante a construção do modelo, os pesquisadores passaram por quatro etapas:
Primeiro, eles usaram 200 milhões de imagens de 256x256 pixels para ensinar os conceitos básicos ao modelo; em seguida, usaram 10 milhões de pares imagem-texto cuidadosamente selecionados para melhorar sua capacidade de compreensão de texto; depois, adicionaram camadas de compressão especiais para permitir que o modelo gerasse imagens de 1024x1024 pixels; finalmente, eles fizeram um ajuste fino, combinando dados de preferência humana para melhorar o desempenho do modelo.
Curiosamente, apesar de seu baixo número de parâmetros, o Meissonic superou alguns modelos maiores em vários testes de referência, como SDXL e DeepFloyd-XL, obtendo uma alta pontuação de 28,83 na "pontuação de preferência humana". Além disso, o Meissonic também pode reparar e expandir imagens sem treinamento adicional, permitindo que os usuários adicionem facilmente partes de imagem ausentes ou melhorem criativamente imagens existentes.
A equipe de pesquisa acredita que este método pode promover o desenvolvimento rápido e de baixo custo de geradores de imagens de IA personalizados e também pode impulsionar o desenvolvimento de aplicativos de texto para imagem em dispositivos móveis. Os interessados podem encontrar uma versão de demonstração no Hugging Face e visualizar o código do modelo no GitHub. Ele pode ser executado facilmente em uma GPU de consumidor com 8 GB de VRAM.
demo:https://huggingface.co/spaces/MeissonFlow/meissonic
projeto:https://github.com/viiika/Meissonic
Destaques:
🌟 Meissonic é um modelo de IA de código aberto que gera imagens de alta qualidade usando apenas um bilhão de parâmetros, adequado para PCs gamers comuns e futuros dispositivos móveis.
⚡ Usando um método de treinamento de otimização iterativa paralela, o Meissonic é 99% mais rápido na geração de imagens do que os modelos tradicionais.
🏆 Apesar de seu pequeno número de parâmetros, o Meissonic superou modelos maiores em vários testes e pode reparar e expandir imagens sem treinamento adicional.