Meta lance Audiobox : une nouvelle ère pour la génération audio

Stability AI et Arm collaborent pour lancer une technologie de génération audio hors ligne

TangoFlux : Modèle de génération audio ultra-rapide - Générez 30 secondes d'audio en seulement 3 secondes

Dans le domaine de l'intelligence artificielle, la génération audio à partir de texte est un sujet de recherche de plus en plus populaire. Récemment, des chercheurs ont présenté un nouveau modèle appelé TANGOFLUX, qui se distingue par ses performances et son efficacité. TANGOFLUX est un modèle efficace de génération audio à partir de texte, doté de 515 millions de paramètres, capable de générer des fichiers audio de 44,1 kHz d'une durée maximale de 30 secondes en seulement 3,7 secondes. Cette vitesse le rend particulièrement performant sur une seule A40 GPU. TANGOFLUX est principalement...

Bulletin IA : Llama 3, modèle open source de Meta avec 40 milliards de paramètres, surpassant GPT-4o, a été divulgué ; Stability AI open source son modèle de génération audio Stable Audio Open

Bienvenue à la rubrique quotidienne sur l'IA ! Votre guide quotidien pour explorer le monde de l'intelligence artificielle. Chaque jour, nous vous présentons les sujets d'actualité du domaine de l'IA, en nous concentrant sur les développeurs, pour vous aider à comprendre les tendances technologiques et les applications innovantes des produits d'IA. Découvrez les nouveaux produits IA : https://top.aibase.com/1、Secousse dans le monde de l'IA ! 14、Microsoft Research lance le framework IA E5-V : simplification de l'apprentissage multi-modal grâce à l'entraînement unimodal sur des paires de textes, réduction des coûts. Microsoft Research et l'Université d'Aéronautique et d'Astronautique de Beijing ont lancé conjointement le framework E5-V.

Stability AI publie Stable Audio Open, un modèle de génération audio open source : capable de générer de l'audio stéréo jusqu'à 47 secondes

Stability AI a récemment publié Stable Audio Open, un modèle de génération audio open source capable de générer de l'audio stéréo jusqu'à 47 secondes avec un taux d'échantillonnage de 44,1 kHz. La conception à poids ouverts permet aux utilisateurs d'examiner, de modifier et d'étendre le modèle, favorisant ainsi l'innovation chez les chercheurs et les développeurs. L'utilisation d'un ensemble de données audio sous licence Creative Commons garantit la légalité et l'éthique des données. L'architecture technique du modèle est avancée, permettant une génération stéréo de haute qualité. La diversité et la haute fidélité ont été vérifiées, et les performances sont comparables à celles des modèles de pointe. Cet outil est particulièrement intéressant pour les chercheurs...

VTA-LDM : génération audio alignée à partir de vidéos, un projet du laboratoire IA de Tencent

Le modèle « Génération vidéo-audio alignée implicite » (VTA-LDM), développé par l’équipe de recherche du laboratoire d’intelligence artificielle de Tencent, utilise une technique d’alignement implicite novatrice pour assurer la cohérence sémantique et temporelle entre la vidéo et l’audio généré, améliorant ainsi considérablement la qualité de l’audio généré et élargissant les applications possibles de la technologie de génération vidéo. L’analyse expérimentale montre que la conception du modèle, combinant un encodeur visuel, un plongement auxiliaire et l’augmentation des données, améliore significativement la précision et la cohérence de l’audio généré. L’équipe a créé un modèle de base et mené des expériences d’ablation pour évaluer l’impact des différentes parties sur les résultats de la génération.

FunAudioLLM : Modèle de génération audio open source d'Alibaba Tongyi, prenant en charge les conversations vocales émotionnelles, les livres audio, etc.

Les laboratoires Alibaba Tongyi ont récemment open-sourcé un projet de modèle de génération audio nommé FunAudioLLM, visant à améliorer l'expérience d'interaction vocale naturelle entre les humains et les grands modèles linguistiques (LLM). Ce projet est composé de deux modèles principaux : SenseVoice et CosyVoice.

ElevenLabs lance Projects, une plateforme de génération audio IA pour les longs formats

ElevenLabs lance Projects, une plateforme de génération audio longue forme permettant de transformer du texte en parole en un clic. Elle prend en charge l'importation directe de contenu à partir de divers documents, l'édition détaillée des paramètres vocaux et la sortie de fichiers audio. Elle offre des fonctionnalités de synthèse vocale, d'édition audio et de clonage vocal, avec un rendu audio réaliste. La plateforme intègre plusieurs modèles vocaux et prend en charge 28 langues, révolutionnant la création de contenu audio. Le workflow de Projects est simple et efficace, offrant une solution commerciale à la technologie de synthèse vocale d'ElevenLabs.