OpenAI lance de nouveaux modèles multimodaux et un modèle linguistique à instructions pour contrer le défi de Gemini de Google

AI前线

Publié leActualités IA · 1 minutes de lecture · Sep 20, 2023

OpenAI a récemment lancé InstructGPT-3.5, un nouveau modèle linguistique basé sur des instructions, dont les performances sont comparables à celles de GPT-3.5 Turbo. De plus, ils prévoient de lancer GPT-Vision, un grand modèle multi-modal, et un modèle multi-modal encore plus puissant, codé nommé "Gobi", afin de répondre activement à la concurrence de Gemini de Google et de maintenir sa position de leader dans le domaine de l'IA.

OpenBMB publie le modèle multi-modal MiniCPM-o2.6 : traitement visuel et vocal possible même sur téléphone portable

Ces dernières années, l'intelligence artificielle a connu des progrès remarquables, mais des défis persistent quant à l'efficacité du calcul et à la polyvalence. De nombreux modèles multimodaux avancés, tels que GPT-4, nécessitent généralement d'importantes ressources de calcul, ce qui limite leur utilisation aux serveurs haut de gamme et empêche une utilisation efficace des technologies intelligentes sur les appareils périphériques tels que les smartphones et les tablettes. De plus, le traitement en temps réel de tâches telles que l'analyse vidéo ou la transcription vocale pose encore des obstacles techniques, soulignant le besoin de modèles IA efficaces et flexibles pour une utilisation transparente avec des ressources matérielles limitées.

L'équipe de l'Université de Pékin publie LLaVA-o1, un modèle multi-modal avec des capacités de raisonnement comparables à GPT-o1 !

Récemment, une équipe de recherche de l'Université de Pékin et d'autres institutions a annoncé la publication de LLaVA-o1, un modèle multi-modal open source. Il s'agirait du premier modèle langue-vision capable de raisonnement spontané et systématique, comparable à GPT-o1. Ce modèle a excellé dans six benchmarks multimodaux exigeants. Sa version à 11 milliards de paramètres a surpassé des concurrents tels que Gemini-1.5-pro, GPT-4o-mini et Llama-3.2-90B-Vision-Instruct. L

Salesforce AI Research présente le nouveau modèle multi-modal BLIP-3-Video : une solution économique pour la compréhension vidéo

Récemment, l'équipe de recherche Salesforce AI a lancé un nouveau modèle linguistique multi-modal : BLIP-3-Video. Avec l'augmentation rapide du contenu vidéo, la gestion efficace des données vidéo est devenue un problème urgent. Ce modèle vise à améliorer l'efficacité et les performances de la compréhension vidéo, et s'applique à divers secteurs, de la conduite autonome aux divertissements. Les modèles traditionnels de compréhension vidéo traitent généralement les vidéos image par image, générant une grande quantité d'informations visuelles. Ce processus non seulement consomme d'énormes ressources de calcul, mais limite également considérablement...

Le modèle multi-modal open source Molmo identifie les objets sur les images et génère des descriptions précises

Récemment, un modèle d'intelligence artificielle multimodale open source nommé Molmo a suscité un vif intérêt dans l'industrie. Ce système d'IA, basé sur Qwen2-72B et utilisant le moteur de traitement visuel CLIP d'OpenAI, défie la domination des modèles commerciaux traditionnels grâce à ses performances exceptionnelles et ses fonctionnalités innovantes. La caractéristique la plus remarquable de Molmo est son efficacité. Bien que relativement petit, il rivalise en termes de capacité de traitement avec des concurrents dix fois plus volumineux. Ce concept de conception « petit mais puissant » améliore non seulement les performances du modèle, mais...