Recentemente, a Play AI lançou seu produto mais ambicioso - a versão beta do PlayDialog, capaz de gerar áudios de podcasts em formato de diálogo. Este modelo de voz AI ponta a ponta, utilizando o contexto histórico da conversa, consegue controlar o tom, a emoção e a velocidade da fala para alcançar uma síntese de voz mais natural, marcando um novo nível na interação homem-máquina. O PlayDialog é ideal para criar experiências de diálogo realistas, como narrações, dublagens e podcasts sintéticos, além de oferecer experiências imersivas de voz individual em ambientes comerciais.

A Mistral AI lançou seu primeiro modelo multimodal de código aberto, o Pixtral 12B, que pode processar imagens e texto simultaneamente. Com 12 bilhões de parâmetros e apenas 23,64 GB de tamanho, é um peso-leve entre os modelos multimodais. Seu design inteligente e tecnologia avançada, juntamente com a disponibilidade de download dos pesos do modelo, reduzem significativamente o consumo de energia e as barreiras de implantação, aumentando a acessibilidade do modelo. O Pixtral 12B apresentou desempenho excepcional em vários benchmarks de referência, superando vários modelos multimodais conhecidos. Mistral AI

Um projeto inovador chamado ChatTTS-OpenVoice está chamando a atenção na internet, combinando as tecnologias ChatTTS e OpenVoice para gerar vozes personalizadas e naturais com base em um áudio de referência de 10 segundos enviado pelo usuário. Essa tecnologia é adequada para ferramentas de dublagem e assistentes de voz, oferecendo uma experiência de voz personalizada por meio de um processo de upload simplificado. O projeto, desde seu lançamento, tem recebido elogios de desenvolvedores e usuários, gerando muita discussão nas redes sociais. O responsável pelo projeto afirma que o objetivo é fornecer aos usuários vozes mais personalizadas e naturais.

A Microsoft Azure AI anunciou a adição de 40 novos modelos de IA à sua plataforma de desenvolvimento na nuvem, incluindo Whisper V3, Stable Diffusion, Phi, Falcon e SAM. Os desenvolvedores podem integrá-los facilmente por meio de APIs ou SDKs, com suporte para ajuste fino de dados e otimização de instruções. O Mercado de Modelos oferece pesquisa por palavras-chave para que os desenvolvedores possam encontrar rapidamente os produtos adequados para seus aplicativos. Entre os modelos novos notáveis estão o modelo de voz Whisper V3 e o modelo de imagem Stable Diffusion.

👀 Exploração de aplicativos de modelos grandes: O artigo explora as diferenças na compreensão e geração de imagens entre o GPT-4 e o DALL-E 3 por meio de um teste de geração de imagem e texto adversário.💡 Limitações de modelos grandes: Testes iterativos revelaram que os modelos grandes têm limitações na determinação de imagens ambíguas e não conseguem fornecer um julgamento definitivo.🔎 Novo método de teste de modelos grandes: O método de teste iterativo pode ser usado para explorar profundamente a capacidade de compreensão de texto e imagem de modelos grandes.

{'1':'Cinco modelos de IA de Pequim foram aprovados e serão oficialmente disponibilizados ao público.','2':'Isso marca um avanço significativo para as empresas de tecnologia nacionais nas áreas de geração de voz, imagem e texto.','3':'Entre os produtos estão o Ernie da Baidu, o Lark do Douyin, o modelo de IA da Baichuan, o Qingshi e o Zidong Taichu.'}