Noam Brown, Leiter der KI-Inferenzforschung bei OpenAI, erklärte kürzlich in einer Podiumsdiskussion auf der NVIDIA GTC-Konferenz, dass bestimmte Formen von „Inferenz“-KI-Modellen bereits vor 20 Jahren hätten entwickelt werden können, wenn die Forscher damals „die richtigen Methoden und Algorithmen“ gekannt hätten. Er führte mehrere Gründe an, warum diese Forschungsrichtung vernachlässigt wurde.

OpenAI

Brown erinnerte sich an seine Arbeit an KI für Spiele an der Carnegie Mellon University, einschließlich Pluribus, das Top-Poker-Profis besiegte. Er erklärte, das Besondere an der von ihm mitentwickelten KI sei ihre Fähigkeit, Probleme durch „Inferenz“ zu lösen, anstatt sich auf reine Brute-Force-Berechnungen zu verlassen. Brown erwähnte, dass Menschen in schwierigen Situationen viel Zeit zum Nachdenken aufwenden, was für künstliche Intelligenz sehr nützlich sein könnte.

Brown ist auch einer der Architekten des OpenAI-KI-Modells o1. Dieses Modell verwendet eine Technik namens „Inferenz zur Laufzeit“, die es ihm ermöglicht, vor der Beantwortung von Anfragen „nachzudenken“. Die Inferenz zur Laufzeit treibt eine Form der „Inferenz“ an, indem zusätzliche Berechnungen auf das laufende Modell angewendet werden. Im Allgemeinen sind sogenannte Inferenzmodelle genauer und zuverlässiger als herkömmliche Modelle, insbesondere in Bereichen wie Mathematik und Naturwissenschaften.

Auf die Frage im Podiumsgespräch, ob angesichts der allgemein knappen Rechenressourcen an Hochschulen die akademische Welt noch Experimente im Umfang von OpenAI durchführen könne, räumte Brown ein, dass dies in den letzten Jahren mit dem steigenden Bedarf von Modellen an Rechenressourcen immer schwieriger geworden ist. Er betonte jedoch gleichzeitig, dass die akademische Welt eine wichtige Rolle spielen kann, indem sie Bereiche mit geringerem Rechenaufwand erforscht, z. B. die Modellierung der Architektur.

Brown betonte die Möglichkeiten der Zusammenarbeit zwischen Spitzenlaboren und der akademischen Welt. Er erklärte, dass Spitzenlabore wissenschaftliche Veröffentlichungen verfolgen und sorgfältig prüfen, ob die vorgebrachten Argumente überzeugend sind, d. h. ob die Forschung sehr effektiv wäre, wenn sie weiter skaliert würde. Wenn eine Arbeit überzeugende Argumente vorbringt, werden diese Labore diese eingehend untersuchen.

Darüber hinaus erwähnte Brown insbesondere den Bereich der KI-Benchmark-Tests und betonte, dass die akademische Welt hier einen wichtigen Einfluss ausüben kann. Er kritisierte den derzeitigen Stand der KI-Benchmark-Tests als „sehr schlecht“ und wies darauf hin, dass diese Tests oft esoterisches Wissen abfragen, wobei die erzielten Punktzahlen nur wenig mit der Kompetenz in den meisten Menschen wichtigen Aufgaben korrelieren, was zu einem weit verbreiteten Missverständnis der Fähigkeiten und Verbesserungen von Modellen führt. Brown ist der Ansicht, dass die Verbesserung von KI-Benchmark-Tests keine großen Rechenressourcen erfordert.

Es ist erwähnenswert, dass Browns anfängliche Äußerungen in dieser Diskussion sich auf seine Arbeit an KI für Spiele vor seinem Eintritt bei OpenAI, wie z. B. Pluribus, und nicht auf Inferenzmodelle wie o1 bezogen.

Wichtigste Punkte:

  • 🤔 Noam Brown von OpenAI ist der Ansicht, dass „Inferenz“-KI bereits 20 Jahre früher hätte entwickelt werden können, wenn die richtigen Methoden früher gefunden worden wären. Die frühere Forschungsrichtung wurde vernachlässigt.
  • 🤝 Brown betont die Möglichkeiten der Zusammenarbeit zwischen der akademischen Welt und führenden KI-Laboren. Die akademische Welt kann in Bereichen mit geringem Rechenaufwand wie der Modellierung der Architektur und KI-Benchmark-Tests eine wichtige Rolle spielen.
  • 📈 Inferenzmodelle, die Techniken wie „Inferenz zur Laufzeit“ verwenden, sind genauer und zuverlässiger als herkömmliche Modelle, insbesondere in den Bereichen Mathematik und Naturwissenschaften.