Google hat kürzlich das neue Open-Source-KI-Modell DataGemma vorgestellt, das darauf abzielt, das Problem der „Halluzinationen“ bei großen Sprachmodellen (LLMs) bei der Verarbeitung statistischer Daten zu lösen.
Diese Halluzinationen führen dazu, dass Modelle bei der Beantwortung von Fragen zu Zahlen und Statistiken ungenaue Antworten liefern können. Die Einführung des DataGemma-Modells markiert einen wichtigen Fortschritt im Bereich der KI bei Google.
Bildquelle: Das Bild wurde mit KI generiert, Bildrechte liegen bei Midjourney.
Reduzierung von Halluzinationen bei statistischen Abfragen
DataGemma besteht aus zwei verschiedenen Methoden, um die Genauigkeit bei der Beantwortung von Benutzerfragen zu verbessern. Diese Modelle basieren auf den riesigen Mengen an realen Daten der Google Data Commons-Plattform, die über 240 Milliarden Datenpunkte aus den Bereichen Wirtschaft, Wissenschaft, Gesundheit und mehr umfasst. Dies bietet den Modellen eine solide Faktenbasis.
Beide neuen Modelle sind auf Hugging Face für akademische und Forschungszwecke verfügbar. Sie bauen auf der bestehenden Gemma-Reihe von Open-Source-Modellen auf und nutzen die umfangreichen realen Daten der von Google erstellten Data Commons-Plattform, um ihre Antworten zu untermauern. Diese öffentliche Plattform bietet einen offenen Wissensgraphen mit über 240 Milliarden Datenpunkten von vertrauenswürdigen Organisationen aus den Bereichen Wirtschaft, Wissenschaft, Gesundheit und anderen Bereichen.
Modellzugriff: https://huggingface.co/collections/google/datagemma-release-66df7636084d2b150a4e6643
Googles Forscher haben verschiedene Aspekte des Problems der Modellhalluzinationen untersucht, um die Ursachen zu ermitteln. Herkömmliche Modelle sind bei der Verarbeitung logischer und arithmetischer Probleme manchmal nicht effektiv, und öffentliche statistische Daten sind oft in unterschiedlichen Formaten und mit komplexen Hintergrundinformationen versehen, was ihr Verständnis erschwert.
Um diese Probleme zu lösen, haben die Google-Forscher zwei neue Methoden kombiniert. Die erste Methode heißt „Retrieval-augmented Generation“ (RAG). Sie ermöglicht es dem Modell, relevante Variablen basierend auf der ursprünglichen statistischen Frage zu extrahieren und eine natürliche Sprach-Abfrage zu erstellen, um dann über Data Commons relevante Daten abzurufen. Ein feinabgestimmtes Gemma-Modell verwendet die ursprüngliche statistische Frage, um relevante Variablen zu extrahieren und eine natürliche Sprach-Abfrage für Data Commons zu generieren. Anschließend wird die Datenbank abgefragt, um relevante statistische Informationen/Tabellen zu erhalten. Nach der Extraktion der Werte werden diese zusammen mit der ursprünglichen Benutzerabfrage verwendet, um ein LLM mit langem Kontext (in diesem Fall Gemini 1.5 Pro) aufzufordern, eine endgültige Antwort mit hoher Genauigkeit zu generieren.
Die zweite Methode heißt „Retrieval-integrated Generation“ (RIG). Sie verbessert die Genauigkeit, indem sie die vom Modell generierten Antworten mit relevanten statistischen Informationen in Data Commons vergleicht. Dafür generiert ein feinabgestimmtes LLM eine natürliche Sprach-Abfrage, die den Wert des ursprünglich generierten LLMs beschreibt. Nach der Vorbereitung der Abfrage wandelt eine Pipeline zur Nachbearbeitung mehrerer Modelle diese in eine strukturierte Datenabfrage um und führt sie aus, um relevante statistische Antworten aus Data Commons abzurufen und das LLM-Ergebnis zu korrigieren oder zu ergänzen, inklusive der entsprechenden Quellenangabe.
Signifikante Genauigkeitssteigerung
Bei vorläufigen Tests konnte das DataGemma-Modell mit der RIG-Methode die faktische Genauigkeit des Basismodells von 5-17 % auf etwa 58 % steigern. Die RAG-Methode erzielte zwar etwas schlechtere Ergebnisse, übertraf aber dennoch das Basismodell.
Die Daten zeigen, dass DataGemma 24-29 % der statistischen Fragen korrekt beantworten kann und eine numerische Genauigkeit von bis zu 99 % erreicht, aber immer noch eine Fehlerquote von 6 bis 20 % beim Ableiten der richtigen Schlussfolgerungen aufweist.
Google hofft, durch die Veröffentlichung von DataGemma die Forschung in diesem Bereich voranzutreiben und eine solidere Grundlage für zukünftige Gemma- und Gemini-Modelle zu schaffen. Die Forschung von Google wird fortgesetzt, und es wird erwartet, dass diese Verbesserungen nach gründlichen Tests in weitere Modelle integriert werden.
Wichtigste Punkte:
🌟 Google stellt das DataGemma-Modell vor, um die Fehler von KI bei statistischen Abfragen zu reduzieren.
📊 DataGemma nutzt die Google Data Commons-Plattform, um die Genauigkeit der Antworten des Modells zu verbessern.
🔍 Vorläufige Tests zeigen eine deutliche Verbesserung der Genauigkeit von DataGemma bei statistischen Abfragen.