Dans le domaine actuel de la visualisation de données, la génération de graphiques reflétant fidèlement des données complexes reste un défi subtil. Les graphiques doivent non seulement capturer la disposition, les couleurs et le placement du texte avec précision, mais aussi traduire ces détails visuels en code pour reproduire le design souhaité. Cependant, les méthodes traditionnelles reposent souvent sur des invites directes à des modèles vision-langage (VLM), tels que GPT-4V, ce qui pose souvent des difficultés lors de la conversion d'éléments visuels complexes en code Python syntaxiquement correct. Même de petites erreurs peuvent empêcher le graphique d'atteindre son objectif de conception.

Lors de la conférence AAAI 2025, conférence académique de premier plan en intelligence artificielle, une équipe conjointe d'Ant Group, de l'Université de Zhejiang, de l'Université de Liverpool et de l'Université normale de l'Est de la Chine a présenté ScaleOT, un framework innovant de réglage hors site (offsite-tuning). Ce framework permet d'améliorer l'efficacité de la protection de la vie privée de 50% sans perte de performance du modèle. Comparé aux techniques de distillation de connaissances, il réduit considérablement la consommation de puissance de calcul de 90%, offrant une solution efficace et légère pour le réglage hors site des modèles à plusieurs milliards de paramètres. L'article a été sélectionné pour une présentation orale à l'AAAI en raison de son caractère innovant.

Dans le domaine de l'intelligence artificielle (IA), bien que les grands modèles de langage (LLM) excellent dans le traitement du langage naturel, ils sont souvent dépassés par des tâches de raisonnement complexes. Ces tâches nécessitent généralement un raisonnement en plusieurs étapes, des connaissances spécifiques à un domaine ou l'intégration efficace d'outils externes. Pour surmonter ces limitations, les chercheurs explorent constamment comment améliorer les capacités des LLM grâce à l'utilisation d'outils externes. Les méthodes d'augmentation traditionnelles nécessitent souvent un réglage fin ou un entraînement supplémentaire du modèle, ce qui limite son adaptabilité et sa flexibilité.

Avec le développement de l'intelligence artificielle, les systèmes multi-agents deviennent de plus en plus performants pour traiter des tâches complexes dans divers domaines. Ces systèmes sont composés de plusieurs agents spécialisés qui collaborent en utilisant leurs compétences respectives pour atteindre un objectif commun. Cette collaboration s'avère particulièrement efficace dans des domaines tels que le raisonnement complexe, la programmation, la découverte de médicaments et l'assurance sécurité, car les interactions structurées entre les agents améliorent non seulement l'efficacité de la résolution de problèmes, mais permettent également une correction mutuelle, améliorant ainsi les résultats individuels. Des études montrent que cette approche collaborative surpasse souvent les méthodes traditionnelles pour les tâches nécessitant un raisonnement rigoureux ou une vérification factuelle.

Une étude récente d'Apple révèle que la société développe un nouveau framework appelé ELEGNT, visant à donner aux robots non humanoïdes des mouvements plus naturels et expressifs. Cela pourrait ouvrir de nouvelles voies pour le développement futur des robots domestiques. L'équipe de recherche a utilisé comme prototype un robot ressemblant à la lampe de Pixar dans le court-métrage « Luxo Jr. », équipé d'un bras robotisé à 6 axes et d'une tête avec des fonctions d'éclairage et de projection. Grâce à ELEGNT, les chercheurs permettent au robot non seulement d'accomplir des tâches fonctionnelles, mais aussi de communiquer ses intentions et ses émotions par le mouvement.

Dans le développement de la robotique, l'écart entre les environnements simulés et le monde réel a toujours constitué un défi majeur. Récemment, le laboratoire NVIDIA GEAR et une équipe de recherche de l'Université Carnegie Mellon ont développé un nouveau framework, appelé ASAP (Aligning Simulation and Real Physics), visant à réduire cet écart. Ce système a réalisé des progrès significatifs dans la réduction des erreurs de mouvement entre la simulation robotique et les mouvements réels, permettant une réduction d'environ 53 % de l'erreur de mouvement, par rapport aux méthodes existantes.

Dans le domaine du développement de jeux, la diversité et l'innovation des scènes constituent un défi permanent. Récemment, l'Université de Hong Kong et Kuaishou Technology ont collaboré pour développer un framework innovant appelé GameFactory, visant à résoudre le problème de la généralisation de scène dans la génération de vidéos de jeux. Ce framework utilise un modèle de diffusion vidéo pré-entraîné, capable de s'entraîner sur des données vidéo en domaine ouvert, afin de générer des scènes de jeu nouvelles et diversifiées. Les modèles de diffusion vidéo, en tant que technologie de génération avancée, ont démontré un potentiel énorme ces dernières années dans les domaines de la génération vidéo et de la simulation physique. Ces modèles...

Avec le développement rapide de la technologie vidéo, la vidéo est devenue un outil essentiel pour la recherche d'informations et la compréhension de concepts complexes. Combinant données visuelles, temporelles et contextuelles, la vidéo offre une représentation multimodale dépassant celle des images statiques et du texte. Aujourd'hui, avec la popularisation des plateformes de partage vidéo et l'émergence d'un grand nombre de vidéos éducatives et informatives, l'utilisation de la vidéo comme source de connaissance offre des opportunités sans précédent pour répondre aux requêtes nécessitant un contexte détaillé, une compréhension spatiale et une démonstration de processus. Cependant, les systèmes actuels de Recherche Augmentée Génération (RAG) négligent souvent tout le potentiel des données vidéo. Ces systèmes utilisent généralement...

Grâce aux modèles linguistiques multimodaux (MLLM), les tâches liées aux images et aux vidéos ont connu des avancées révolutionnaires, notamment la question-réponse visuelle, la génération de récits et l'édition interactive. Cependant, la compréhension fine du contenu vidéo reste un défi majeur. Ce défi implique la segmentation au niveau des pixels, le suivi avec descriptions linguistiques et la question-réponse visuelle sur des invites vidéo spécifiques. Bien que les modèles de perception vidéo de pointe actuels excellent dans les tâches de segmentation et de suivi, ils restent insuffisants en termes de compréhension linguistique ouverte et de capacités conversationnelles. De plus,

Les modèles linguistiques génératifs sont confrontés à de nombreux défis, de la phase d'entraînement à leur application concrète. L'un des principaux problèmes est d'optimiser les performances du modèle lors de l'étape d'inférence. Les solutions actuelles, telles que l'apprentissage par renforcement avec rétroaction humaine (RLHF), se concentrent principalement sur l'amélioration du taux de réussite du modèle, mais négligent souvent les stratégies de décodage lors de l'inférence, telles que l'échantillonnage Best-of-N et le décodage contrôlé. Cet écart entre l'objectif d'entraînement et l'utilisation réelle peut entraîner une inefficacité, affectant la qualité et la fiabilité des sorties. Pour résoudre ces problèmes, Google D

L'entraînement de grands modèles d'IA (tels que les modèles Transformer et les modèles linguistiques) est devenu un élément essentiel du domaine de l'IA, mais il est également confronté à des coûts de calcul élevés, à une consommation de mémoire importante et à des besoins énergétiques importants. Par exemple, GPT-3 d'OpenAI compte 175 milliards de paramètres et nécessite plusieurs semaines d'entraînement sur GPU. Cette énorme demande de ressources limite l'application de cette technologie aux organisations disposant de ressources informatiques à grande échelle, et elle accroît également les préoccupations concernant l'efficacité énergétique et l'impact environnemental. Résoudre ces défis est essentiel pour garantir une plus large accessibilité au développement de l'IA.

Meta a récemment lancé Leffa, un framework open source d'essayage virtuel IA. Ce framework vise à améliorer l'expérience d'essayage en générant de nouvelles images permettant aux utilisateurs de changer de vêtements et de poses en fonction d'une image de référence. Comparé aux méthodes précédentes, Leffa excelle dans la préservation des détails et la réduction des distorsions d'image. Le lancement de Leffa ouvre de nouvelles perspectives pour le shopping en ligne et l'essayage virtuel. Il suffit aux utilisateurs de télécharger une image de référence pour que le système génère de nouveaux effets vestimentaires basés sur cette image.

Le sommet sur le framework d'intelligence artificielle MindSpore s'est tenu avec succès. Lors de ce sommet, les représentants de 18 entités ont présenté plusieurs résultats de développement de grands modèles natifs basés sur le framework MindSpore. Ces avancées marquent le développement rapide et l'influence croissante de MindSpore dans le domaine de l'intelligence artificielle. Selon les prévisions, MindSpore devrait détenir 30 % de part de marché supplémentaire parmi les frameworks d'IA chinois en 2024. Depuis son ouverture en 2020, MindSpore innove constamment et son écosystème ne cesse de prospérer. Aujourd'hui, MindSpore a incubé et supporte avec succès plus de 50 grands modèles nationaux et internationaux.

Dans le domaine de la génération d'images, la tâche de créer des images haute résolution et réalistes a toujours été confrontée à de multiples défis, notamment lors de la synthèse texte-image. Les méthodes de génération traditionnelles reposent généralement sur les modèles de diffusion et les frameworks autorégressifs variationnels (VAR). Bien que ces modèles soient capables de produire des images de haute qualité, ils nécessitent une grande quantité de ressources de calcul, ce qui les rend peu adaptés aux applications en temps réel. Parallèlement, les modèles VAR sont sujets à une accumulation d'erreurs lors du traitement des jetons discrets, entraînant une perte de détails dans les images générées et affectant ainsi leur réalisme. Afin de surmonter ces inconvénients...

À l'ère numérique actuelle, les technologies de génération d'images évoluent à un rythme étonnant. Récemment, une équipe de chercheurs de l'Université nationale de Singapour a proposé un nouveau framework, OminiControl, visant à améliorer la flexibilité et l'efficacité de la génération d'images. Ce framework, en combinant des conditions d'image et en tirant pleinement parti des modèles de transformateurs de diffusion (Diffusion Transformer, ou DiT) déjà entraînés, offre un contrôle sans précédent. En termes simples, il suffit de fournir une image source pour utiliser OminiControl...

Nvidia a récemment annoncé que son framework d'IA biomoléculaire open source BioNeMo™ est largement utilisé dans le secteur pharmaceutique, attirant l'attention de nombreuses sociétés pharmaceutiques, d'innovateurs en biotechnologie et de chercheurs en IA. Le lancement de ce framework marque l'entrée officielle de la recherche de médicaments assistée par IA dans l'ère du calcul haute performance. En tant qu'ensemble d'outils IA spécialement conçus pour la recherche biomoléculaire, le framework BioNeMo apporte une percée révolutionnaire au secteur pharmaceutique. Les chercheurs peuvent utiliser ce framework pour augmenter considérablement l'échelle de calcul des modèles d'IA, analyser des ensembles de données massives plus efficacement et améliorer considérablement la...

Dans le domaine de la génération et de la compréhension d'images pilotées par l'intelligence artificielle, malgré les progrès rapides, des défis importants persistent, entravant le développement d'une approche unifiée et transparente. Actuellement, les modèles axés sur la compréhension d'images ont souvent des performances médiocres en matière de génération d'images de haute qualité, et vice versa. Cette architecture séparant les tâches augmente non seulement la complexité, mais limite également l'efficacité, rendant le traitement des tâches nécessitant à la fois la compréhension et la génération fastidieux. De plus, de nombreux modèles existants s'appuient excessivement sur des modifications d'architecture ou des composants pré-entraînés pour effectuer efficacement l'une ou l'autre fonction, ce qui entraîne des compromis en termes de performances.