Les chercheurs de Meta AI et leurs partenaires universitaires ont développé un système innovant, MILS (Solveur itératif LLM multi-modal), qui permet aux grands modèles de langage de traiter des images, des vidéos et de l'audio sans formation spécifique. MILS s'appuie sur la capacité naturelle de résolution de problèmes des modèles linguistiques, plutôt que sur un entraînement massif de données, ce qui représente un avantage unique. MILS fonctionne en associant deux modèles d'IA pour résoudre les tâches : un « générateur » qui propose des solutions et un « évaluateur » qui les juge.

Selon The Information, des sources proches du dossier ont révélé qu'Amazon a récemment développé un nouveau modèle d'intelligence artificielle générative capable de traiter les images et les vidéos, en plus du texte. Cette avancée marque une nouvelle étape dans le développement de l'IA chez Amazon, notamment dans le traitement du contenu multimédia. Ce modèle vise à aider les clients à rechercher et gérer plus efficacement leurs archives vidéo. Avec la croissance exponentielle du contenu vidéo, la recherche rapide d'informations spécifiques est devenue un défi majeur. Le nouveau modèle d'Amazon, en analysant le contenu des vidéos, permet de…

Les chercheurs d'OpenAI ont récemment publié des résultats prometteurs concernant un nouveau modèle de cohérence temporelle continue (sCM). Ce modèle révolutionne la vitesse de génération de contenu multimédia (images, vidéos et audio), affichant une amélioration de 50 fois par rapport aux modèles de diffusion traditionnels. Concrètement, le sCM génère une image en moins de 0,1 seconde, contre plus de 5 secondes pour les modèles de diffusion classiques. Grâce à cette technologie, l'équipe de recherche a réussi à générer du contenu avec seulement deux étapes d'échantillonnage.

Microsoft prévoit d'introduire une fonction de « recherche multimédia intelligente » dans Windows 11, permettant aux utilisateurs de rechercher des fichiers vidéo ou audio locaux indexés par le biais de requêtes vocales. Cette fonctionnalité nécessite l'accord de l'utilisateur pour scanner les fichiers multimédia de l'appareil et télécharger/installer en arrière-plan un modèle IA pour la transcription et l'indexation. La fonctionnalité est encore en cours de développement, et le modèle IA peut nécessiter une unité de traitement neuronal dédiée. Il reste à déterminer si les utilisateurs pourront choisir des fichiers spécifiques à rechercher, et des préoccupations concernant la vie privée ont été soulevées en raison de l'analyse complète des contenus multimédia par l'IA. Si une option de traitement sélectif est proposée, cette fonctionnalité...

Google AI Studio lance une nouvelle bibliothèque de prompts native intégrant le contexte de longs textes, les entrées multimodales (images, vidéos, audio) et les sorties structurées, afin d'offrir aux utilisateurs une expérience riche et diversifiée dans de nombreux domaines tels que l'éducation, la programmation et les voyages. Cette bibliothèque comprend des fonctionnalités pratiques telles qu'un générateur de recettes, un tuteur en mathématiques, un générateur de devoirs de mathématiques, un concepteur de jeux de piste, un générateur de tests unitaires et un conseiller en voyages. Grâce à une présentation intuitive et des informations complètes, elle améliore le sentiment d'exploration et l'expérience innovante des utilisateurs. Les utilisateurs n'ont qu'à se connecter à Google AI St...

NExT-GPT est un modèle linguistique multimodal open source développé par l'Université nationale de Singapour. Il prend en charge le traitement du texte, des images, des vidéos et de l'audio, offrant ainsi un support puissant aux applications d'intelligence artificielle multimédia. Il adopte une architecture à trois niveaux, comprenant une projection linéaire, un cœur Vicuna LLM et des couches de conversion spécifiques aux modalités, entraînées via la technologie MosIT. Cette contribution open source permet aux chercheurs et aux développeurs de créer des applications intégrant des entrées multimodales, ouvrant ainsi la voie à de nombreux domaines d'application potentiels. La particularité de NExT-GPT réside dans sa capacité à s'adapter aux

Wondershare a lancé "Tianmu", le premier grand modèle multimédia chinois de plus de 10 milliards de paramètres, axé sur les applications de création vidéo. Ce modèle multimédia offre des solutions d'innovation IA plus professionnelles, couvrant la génération et l'optimisation multimodales IA (visuelle, audio, linguistique). Wondershare a également présenté plusieurs applications IA intégrant les capacités de ce grand modèle, notamment la version diffusion en direct de Wondershare Filmora et Wondershare Kwicut. Ces produits, grâce à l'intégration de ce grand modèle, ont permis de réaliser des logiciels de création numérique...