A Beijing ZhiPu HuaZhang Technology Co., Ltd. anunciou o lançamento do CogView4, o primeiro modelo de texto para imagem de código aberto a suportar a geração de caracteres chineses. Este modelo alcançou a pontuação mais alta no teste de referência DPG-Bench, tornando-se o melhor modelo de texto para imagem de código aberto (SOTA - State of the Art). Ele também é o primeiro modelo de geração de imagens a seguir a licença Apache2.0.

A tecnologia de geração de imagens com IA está se desenvolvendo rapidamente, mas os modelos estão ficando cada vez maiores, tornando o custo de treinamento e uso muito alto para usuários comuns. Agora, um novo framework de texto para imagem chamado "Sana" surgiu, capaz de gerar imagens ultranítidas de alta resolução de até 4096×4096 pixels de forma eficiente e surpreendentemente rápida, podendo até mesmo ser executado na GPU de um notebook. O design principal do Sana inclui: Autoencoder de Compressão Profunda: Diferentemente dos autoencoders tradicionais que comprimem imagens apenas 8 vezes, o Sana usa um autoencoder que...

A IA está começando a 'desenvolver um cérebro'?! Uma pesquisa recente do MIT sugere que a estrutura interna dos modelos de linguagem grandes (LLMs) possui semelhanças surpreendentes com o cérebro humano! O estudo utilizou a técnica de autoencoders esparsos para analisar profundamente o espaço de ativação dos LLMs, descobrindo três níveis de características estruturais, impressionantes: Primeiro, em nível microscópico, os pesquisadores descobriram a existência de estruturas semelhantes a 'cristais'. As faces desses 'cristais' são formadas por paralelogramos ou trapézios, semelhantes às analogias lexicais que conhecemos, como por exemplo, "homem:"

A 智谱AI anunciou o lançamento de código aberto do seu modelo de geração de vídeo, CogVideoX, com o objetivo de impulsionar o desenvolvimento e a aplicação rápida da tecnologia de geração de vídeo. O modelo CogVideoX é baseado em tecnologia avançada de modelos grandes e atende às necessidades de aplicações comerciais. Atualmente, a versão CogVideoX-2B de código aberto requer apenas 18 GB de memória de vídeo para inferência com precisão FP-16 e 40 GB para ajuste fino, permitindo inferência com uma única GPU 4090 e ajuste fino com uma única GPU A6000.

Cientistas da Universidade de Ciência e Tecnologia de Xangai desenvolveram o CLAY, um modelo de IA capaz de gerar objetos 3D detalhados a partir de texto ou imagens 2D, superando tecnologias anteriores em qualidade, diversidade e velocidade de geração. O núcleo do CLAY inclui um autoencoder variacional multiresolução e um transformador de difusão, que podem processar conteúdo 3D diretamente, sem conversão. Treinado com mais de 500.000 modelos 3D, o CLAY pode gerar objetos que vão de itens cotidianos a seres vivos complexos, e permite controle preciso por meio de entradas adicionais, gerando cenários urbanos e reconstruindo modelos 3D a partir de esboços. Em comparação com o Shap-E, D