Vectara a récemment publié un rapport intitulé « Classement des hallucinations », comparant les performances de différents grands modèles linguistiques (LLM) en matière de génération d'hallucinations lors de la synthèse de courts documents. Ce classement utilise le modèle d'évaluation des hallucinations Hughes de Vectara (HHEM-2.1), un modèle régulièrement mis à jour visant à évaluer la fréquence à laquelle ces modèles introduisent de fausses informations dans les résumés. Selon les dernières données, le rapport indique le taux d'hallucinations, le taux de cohérence factuelle, le taux de réponse et la longueur moyenne des résumés pour une série de modèles populaires.

Récemment, l'équipe d'apprentissage automatique de Vectara a mené des tests approfondis sur les hallucinations de deux modèles de la série DeepSeek. Les résultats montrent que le taux d'hallucinations de DeepSeek-R1 atteint 14,3 %, significativement plus élevé que les 3,9 % de son prédécesseur, DeepSeek-V3. Cela indique que, lors de l'amélioration du raisonnement, DeepSeek-R1 génère davantage de contenu inexact ou incohérent avec les informations d'origine. Ce résultat a suscité un large débat sur le taux d'hallucinations des grands modèles linguistiques (LLM) dont le raisonnement a été amélioré. Source de l'image

Ces dernières années, les grands modèles de vision (Large Vision Language Models, LVLMs) ont démontré des capacités exceptionnelles dans la compréhension d'images et les tâches multimodales. Cependant, le problème des « hallucinations » qui en découle est de plus en plus important. Pour relever ce défi, l'équipe du Future Life Lab du groupe Taotian propose une nouvelle méthode appelée « Optimisation des préférences de jetons » (Token Preference Optimization, TPO), et introduit une approche d'auto-…

Alors que les grandes entreprises utilisent de plus en plus les grands modèles linguistiques (LLM), l'amélioration de la précision des connaissances du modèle et la réduction des hallucinations constituent un défi majeur. Dans une nouvelle publication, les chercheurs de Meta AI proposent une « couche de mémoire extensible » qui pourrait apporter une solution à ce problème. L'idée principale de la couche de mémoire extensible est d'ajouter plus de paramètres aux LLM afin d'améliorer leurs capacités d'apprentissage, sans augmenter les ressources de calcul nécessaires au raisonnement. Cette architecture convient aux applications nécessitant le stockage d'un grand nombre de faits tout en maintenant une inférence efficace.

Une caractéristique largement considérée comme un défaut de l'intelligence artificielle – les « hallucinations » – s'est avérée être la clé d'une percée scientifique. Selon le magazine Fortune, le professeur David Baker, l'un des lauréats du prix Nobel de chimie 2024, a utilisé les « hallucinations » des modèles d'IA pour réaliser une avancée scientifique majeure. Professeur à l'Université de Washington, Baker est le seul scientifique américain parmi les trois lauréats du prix Nobel de chimie cette année. Il a réussi à inventer de nouvelles protéines grâce à un logiciel informatique, une réalisation qui lui a valu ce prix prestigieux. Note sur l'image : Image générée par IA, autorisation d'utilisation accordée.

Lors de la conférence mondiale Baidu 2024, le fondateur de Baidu, Li Yanhong, a présenté une série d'avancées remarquables dans le domaine de l'IA. Il a souligné que la percée la plus significative des grands modèles au cours des deux dernières années résidait dans la résolution fondamentale du problème des 'hallucinations', ce qui marque un bond qualitatif dans la précision des réponses de l'IA, la faisant passer d'un statut de 'production d'inepties avec sérieux' à celui d'assistant intelligent fiable. Lors de cette conférence, Li Yanhong a mis en avant iRAG, la nouvelle technologie de génération d'images à partir de texte améliorée par la recherche, développée par Baidu. Cette innovation intègre de manière novatrice les vastes ressources d'images accumulées par la plateforme de recherche Baidu et des technologies de pointe...

La conférence Baidu World s'est tenue le 12 novembre 2024 au Centre d'exposition de Shanghai. Cette conférence comprenait un forum principal, quatre forums secondaires et plus de trente cours publics sur l'intelligence artificielle. Le fondateur de Baidu, Robin Li, a prononcé un discours intitulé "Les applications sont arrivées" lors du forum principal, présentant les dernières avancées technologiques et les résultats de Baidu dans le domaine de l'intelligence artificielle, et a exploré en profondeur les tendances futures du secteur.

Microsoft a récemment déposé un brevet visant à réduire ou à éliminer les informations erronées générées par l'intelligence artificielle grâce à une méthode technique. Intitulé « Interaction avec les modèles linguistiques en utilisant des connaissances et des retours externes », ce brevet a été déposé auprès de l'Office américain des brevets et des marques (USPTO) l'année dernière et a été rendu public le 31 octobre. Au cœur de cette proposition se trouve un « système d'amélioration des réponses » (SAR) pour les modèles d'IA, permettant d'extraire automatiquement plus d'informations en fonction des requêtes des utilisateurs et de vérifier la « validité » de leurs réponses. Plus précisément, le système d'amélioration des réponses...

Dans le contexte du développement rapide de l'intelligence artificielle, le phénomène des « hallucinations » de l'IA est de plus en plus fréquent, causant des problèmes importants à de nombreuses entreprises. Les chatbots de service client décrivent avec assurance des produits inexistants, les IA financières inventent des données de marché, et les robots médicaux prodiguent des conseils médicaux dangereux. Ces problèmes ne sont plus de simples anecdotes, mais constituent de sérieux risques menaçant la réputation et les bénéfices des entreprises. Pour relever ce défi, la start-up basée à San Francisco, Patronus AI, a annoncé le lancement de la première plateforme en libre-service au monde, conçue pour détecter et prévenir en temps réel les hallucinations IA.

L'équipe de recherche de Disney a récemment présenté une nouvelle méthode de compression d'image utilisant le modèle open source Stable Diffusion V1.2. Cette méthode permet de générer des images plus réalistes à des débits binaires inférieurs à ceux de ses concurrents. Baptisée « codec », cette nouvelle approche est certes plus complexe que les codecs JPEG et AV1 traditionnels, mais ses performances sont impressionnantes. L'étude montre que la nouvelle méthode excelle dans la restauration des détails de l'image, tout en réduisant considérablement les coûts de formation. Les chercheurs ont...

Récemment, un outil de transcription IA basé sur la technologie Whisper d'OpenAI a gagné en popularité dans le secteur médical. De nombreux médecins et établissements de santé utilisent cet outil pour enregistrer et résumer les consultations avec les patients. Selon ABC News, des chercheurs ont découvert que cet outil pouvait, dans certains cas, présenter des « hallucinations », inventant parfois même des informations de toutes pièces. Développé par la société Nabla, cet outil de transcription a déjà transcrit plus de 7 millions de conversations médicales et compte plus de 30 000 utilisateurs.

L'avènement des grands modèles linguistiques (LLM), et notamment la popularisation d'applications comme ChatGPT, a révolutionné l'interaction homme-machine. Ces modèles sont capables de générer des textes cohérents et complets, impressionnants par leur qualité. Cependant, malgré leur puissance, les LLM sont sujets aux « hallucinations », c'est-à-dire à la génération de contenu apparemment réel mais en fait fictif, absurde ou non pertinent par rapport à la requête. Des chercheurs de l'Université Harvard ont mené une étude approfondie sur le phénomène des « hallucinations » des LLM, découvrant que leur origine réside dans le principe même de fonctionnement des LLM. Les LLM fonctionnent en traitant d'immenses quantités de données textuelles...

L'évolution de Microsoft dans le domaine de l'intelligence artificielle connaît un tournant significatif. Alors qu'elle ambitionnait de développer ses propres grands modèles, elle recentre désormais ses efforts sur sa collaboration avec OpenAI et lance une nouvelle fonction de « correction » visant à résoudre le problème des « hallucinations » dans les contenus générés par l'IA. De l'auto-développement à l'exploitation des ressources externes : l'évolution de la stratégie IA de MicrosoftMicrosoft a initialement investi massivement dans le domaine de l'IA générative (GenAI), espérant créer des modèles d'IA comparables, voire supérieurs, aux modèles GPT d'OpenAI.

Google a récemment annoncé le lancement de DataGemma, un nouveau modèle IA open source visant à résoudre le problème des « hallucinations » fréquemment rencontrées par les grands modèles de langage (LLM) lors du traitement de données statistiques. Ce phénomène d'hallucination conduit les modèles à fournir des réponses inexactes lorsqu'ils sont interrogés sur des chiffres et des statistiques. Le lancement de DataGemma marque une avancée importante pour Google dans le domaine de l'IA. Note sur l'image : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney. Réduction des hallucinations lors des requêtes statistiques.

Des chercheurs de l'université Cornell et d'autres institutions ont mené des tests de référence sur les hallucinations de modèles d'IA générative tels que GPT-4o, Claude et Gemini. Ils ont constaté que ces modèles ne produisaient du texte sans hallucinations que dans environ 35 % des cas, ce qui montre que la fiabilité de l'IA nécessite encore des améliorations. L'étude a vérifié les faits à l'aide de sources faisant autorité sur des sujets tels que le droit, la santé et l'histoire, et a conçu un ensemble de questions incluant des éléments non couverts par Wikipédia. Les résultats montrent que les modèles OpenAI ont globalement les meilleures performances, mais que les progrès sont limités par rapport à GPT-3.5. L'étude indique que la taille du modèle n'a aucun lien avec la fréquence des hallucinations et que...

Deux articles révèlent que le contenu généré par l'IA générative peut être considéré comme de « l'absurdité », soulignant le défi que son indifférence à l'exactitude représente pour les agents des services publics. Les informations erronées produites par l'IA générative diffèrent des mensonges intentionnels ; les articles soutiennent que le terme « absurdité » est plus précis et contribue à une meilleure compréhension du public en matière de technologie. Actuellement, la réglementation juridique de l'IA est insuffisante pour prévenir efficacement les dommages causés par ce type d'informations erronées. Les auteurs recommandent l'introduction d'une réglementation similaire à celle du secteur de l'édition, en insistant sur la nécessité d'éviter les « déclarations gratuites » potentiellement nuisibles à la société, pour garantir que la vérité ne soit pas multiple.

L'assistant d'intelligence artificielle de Meta a faussement rapporté qu'une tentative d'assassinat du président Trump n'avait jamais eu lieu, suscitant une controverse généralisée. Les dirigeants de Meta ont présenté leurs excuses pour cette erreur. Des restrictions de programmation de l'IA ont conduit à cette réponse trompeuse ; initialement programmée pour ne pas répondre aux questions concernant un assassinat de Trump, l'IA a continué à fournir des informations erronées dans certains cas après la suppression de ces restrictions. Ce phénomène est appelé « hallucination » et représente un défi courant pour l'IA générative. Des problèmes similaires ont également affecté Google, dont la fonction de saisie semi-automatique de la recherche a été accusée de censurer Trump.

Bien que les grands modèles linguistiques tels que ChatGPT, Claude et Gemini soient impressionnants, ils partagent un problème majeur : ils produisent souvent des hallucinations. Il s'agit d'un problème sérieux dans le domaine de l'IA, et même Apple s'inquiète de la manière dont sa future intelligence artificielle (Apple Intelligence) gérera ces hallucinations. Heureusement, une équipe de chercheurs a mis au point un détecteur d'hallucinations de l'IA capable de déterminer si l'IA invente des informations.

Galileo Lab lance un nouvel indicateur pour aider à améliorer la précision des IA génératives. OpenAI GPT-4 présente une tendance à l'hallucination de 23 % dans les tâches de questions-réponses de base. Le nouvel indicateur de Galileo Labs inclut l'exactitude et la cohérence contextuelle. Ces nouveaux outils aident les entreprises à tester et à atténuer les problèmes d'hallucinations dans leurs implémentations d'IA.

Le modèle Galactica de Meta, retiré après seulement trois jours en raison de problèmes d'hallucinations, a suscité les regrets de LeCun. Galactica est considéré comme une tentative précoce de grand modèle de langage, ayant un impact positif sur les projets ultérieurs de Meta. L'auteur principal du modèle, Ross Taylor, a admis ne pas avoir suffisamment vérifié le modèle de base avant sa publication, mais a néanmoins souligné sa valeur de recherche. Joelle Pineau, vice-présidente de la recherche en IA chez Meta, a insisté sur le fait que Galactica était un projet de recherche et non un produit. Gala