LaVi-Bridge
Conecta diferentes modelos de linguagem e modelos de geração de imagens para gerar imagens a partir de texto.
Produto ComumImagemGeração de imagem a partir de textoModelo de linguagem
LaVi-Bridge é um modelo de ponte projetado para modelos de difusão de texto para imagem, capaz de conectar vários modelos de linguagem pré-treinados e modelos de geração de imagens. Utilizando LoRA e adaptadores, oferece um método flexível e plug-and-play, sem necessidade de modificar os pesos dos modelos de linguagem e de visão originais. O modelo é compatível com diversos modelos de linguagem e de geração de imagens, acomodando diferentes arquiteturas. Neste framework, demonstramos que a integração de módulos mais avançados (como modelos de linguagem ou geração de imagens mais sofisticados) pode melhorar significativamente capacidades como o alinhamento de texto ou a qualidade da imagem. O modelo foi extensivamente avaliado, comprovando sua eficácia.