Étude : GPT-3 commet fréquemment des erreurs et répète des informations erronées et nuisibles

站长之家

Publié leActualités IA · 1 minutes de lecture · Dec 25, 2023

Des recherches récentes ont révélé que les grands modèles de langage, tels que ChatGPT d'OpenAI, répètent fréquemment des informations erronées et nuisibles. Des chercheurs de l'Université de Waterloo au Canada ont mené une série de tests pour évaluer les capacités de compréhension de ChatGPT, découvrant que GPT-3 se contredisait et reproduisait des informations erronées et dangereuses dans ses réponses. Ils ont utilisé différents modèles d'enquête et posé des questions sur plus de 1200 affirmations distinctes, mettant ainsi en évidence ce problème.

Classement des hallucinations des grands modèles linguistiques IA : Gemini 2.0 Flash affiche le taux d'hallucinations le plus bas

Vectara a récemment publié un rapport intitulé « Classement des hallucinations », comparant les performances de différents grands modèles linguistiques (LLM) en matière de génération d'hallucinations lors de la synthèse de courts documents. Ce classement utilise le modèle d'évaluation des hallucinations Hughes de Vectara (HHEM-2.1), un modèle régulièrement mis à jour visant à évaluer la fréquence à laquelle ces modèles introduisent de fausses informations dans les résumés. Selon les dernières données, le rapport indique le taux d'hallucinations, le taux de cohérence factuelle, le taux de réponse et la longueur moyenne des résumés pour une série de modèles populaires.

Comment les six leaders des grands modèles linguistiques peuvent-ils réinventer leur stratégie face à l'impact de DeepSeek ?

Au cours du dernier mois, le marché mondial des grands modèles linguistiques a été bouleversé par le lancement de DeepSeek, et de nombreuses entreprises ont été interrogées sur leur opinion et leur stratégie face à cette nouvelle force. Sur le marché intérieur chinois, les six start-ups de grands modèles linguistiques ayant déjà atteint le statut de licorne – 01.AI, Baichuan Intelligent, Jietuo Xingchen, Zhipu Zhang, Yue Zhi Anmian et MiniMax – sont confrontées à des défis importants, mais leurs stratégies de réponse montrent des orientations différentes. Tout d'abord, le fondateur de 01.AI, Kai-Fu Lee, a déclaré précédemment qu'ils ne recherchaient plus un modèle super-large.

Le scientifique en chef de l'IA de Meta prédit l'émergence d'un nouveau paradigme d'architecture de l'IA dans les cinq prochaines années, ouvrant la voie à la « décennie des robots »

Lors du récent débat sur la technologie de Davos, Yann LeCun, scientifique en chef de l'IA chez Meta, a fait des prédictions enthousiasmantes sur l'évolution de l'intelligence artificielle au cours des cinq prochaines années. Il estime que les systèmes d'IA actuels connaîtront une transformation majeure dans les trois à cinq prochaines années, avec l'émergence d'un « nouveau paradigme d'architecture de l'IA » qui surpassera les capacités des IA génératives et des grands modèles linguistiques (LLM) couramment utilisés aujourd'hui. LeCun souligne que si les LLM actuels affichent de bonnes performances en traitement du langage, ils...

La connaissance historique, point faible de l'IA : les grands modèles linguistiques peinent à résoudre les problèmes historiques complexes

De récentes recherches montrent que, malgré d'excellentes performances de l'intelligence artificielle dans des domaines tels que la programmation et la création de contenu, elle reste insuffisante pour traiter des problèmes historiques complexes. Une étude présentée récemment à la conférence NeurIPS révèle que même les grands modèles linguistiques (LLM) les plus avancés ont du mal à obtenir des résultats satisfaisants aux tests de connaissances historiques. L'équipe de recherche a développé Hist-LLM, un ensemble de tests de référence, pour évaluer trois modèles linguistiques de pointe : GPT-4 d'OpenAI, Llama de Meta et Gemini de Google. Les tests...