Kürzlich äußerte sich Anna Makanju, Vizepräsidentin für globale Angelegenheiten bei OpenAI, auf dem UN-„Future Summit“ zu KI-Verzerrungen.
Sie erwähnte, dass „Inferenz“-Modelle wie OpenAIs o1 die Verzerrungen in KI-Systemen deutlich reduzieren können. Wie erreicht o1 das? Makanju erklärte, dass diese Modelle Vorurteile in ihren Antworten selbst erkennen und Regeln besser befolgen können, um keine „schädlichen“ Antworten zu generieren.
Sie sagte, dass das o1-Modell bei der Bearbeitung von Fragen mehr Zeit für die Bewertung seiner Antworten aufwende und sich selbst überprüfen könne: „Es kann sagen: ‚So habe ich das Problem gelöst‘ und dann seine Antwort überprüfen und feststellen: ‚Oh, hier könnte ein Denkfehler vorliegen.‘“ Sie betonte sogar, dass o1 die Analyse eigener Verzerrungen „nahezu perfekt“ beherrsche und seine Leistung mit dem technischen Fortschritt immer besser werde.
Diese Aussage der „nahezu perfekten“ Leistung scheint jedoch etwas übertrieben. Interne Tests von OpenAI ergaben, dass o1 im Vergleich zu „Nicht-Inferenz“-Modellen, einschließlich des eigenen GPT-4o, in einigen Verzerrungstests nicht ideal abschnitt. In Fragen zu Rasse, Geschlecht und Alter schnitt o1 in bestimmten Fällen sogar schlechter als GPT-4o ab. Obwohl o1 bei impliziten Vorurteilen besser abschnitt, war die explizite Voreingenommenheit bei Alter und Rasse stärker ausgeprägt.
Interessanterweise schnitt die günstigere Version von o1, o1-mini, noch schlechter ab. Tests zeigten, dass o1-mini eine höhere Wahrscheinlichkeit für explizite Vorurteile in Bezug auf Geschlecht, Rasse und Alter aufwies als GPT-4o, und die impliziten Vorurteile in Bezug auf das Alter waren ebenfalls stärker ausgeprägt.
Darüber hinaus haben aktuelle Inferenzmodelle noch viele Einschränkungen. OpenAI räumt ein, dass der Nutzen von o1 bei bestimmten Aufgaben gering ist. Es reagiert langsamer, einige Fragen benötigen über 10 Sekunden zur Beantwortung. Und die Kosten für o1 sind nicht zu vernachlässigen; die Betriebskosten sind drei- bis viermal so hoch wie die von GPT-4o.
Wenn die von Makanju beschriebenen Inferenzmodelle tatsächlich der beste Weg zur Erreichung einer fairen KI sind, müssen sie sich neben den Vorurteilen auch in anderen Bereichen verbessern, um eine praktikable Alternative zu sein. Andernfalls werden nur wohlhabende Kunden, die bereit sind, Verzögerungen und Leistungseinbußen in Kauf zu nehmen, wirklich davon profitieren.
Wichtigste Punkte:
🌟 Das o1-Modell von OpenAI soll KI-Verzerrungen deutlich reduzieren, aber die Testergebnisse zeigen, dass es die Erwartungen nicht erfüllt.
💡 o1 schneidet bei impliziten Vorurteilen besser ab als GPT-4o, bei expliziten Vorurteilen jedoch schlechter.
💰 Das Inferenzmodell o1 ist teuer, langsam und muss in Zukunft noch in vielen Bereichen verbessert werden.
