In Zeiten der Informationsflut interagieren wir täglich mit intelligenten Geräten. Haben Sie sich jemals gefragt, wie diese scheinbar intelligenten Geräte wissen, dass man bei Regen einen Regenschirm braucht? Dahinter steckt ein tiefgreifender Wandel im kausalen Schlussfolgern.
Forscher von renommierten Institutionen wie Microsoft und dem MIT haben eine bahnbrechende Trainingsstrategie für maschinelles Lernen entwickelt. Diese Strategie behebt nicht nur die Schwächen großer maschineller Lernmodelle im logischen Schlussfolgern, sondern erzielt auch durch folgende Schritte bemerkenswerte Fortschritte:
Einzigartige Trainingsmethode: Die Forscher verwendeten eine neuartige Trainingsmethode, die sich möglicherweise von herkömmlichen Methoden des maschinellen Lernens unterscheidet.
Verbesserung des logischen Schlussfolgerns: Ihre Methode verbessert die Fähigkeit großer Modelle zum logischen Schlussfolgern erheblich und löst bisherige Herausforderungen.
Erstellung von Trainingssätzen mithilfe von Kausalzusammenhängen: Das Forschungsteam nutzte kausale Modelle, um Trainingssätze zu erstellen. Diese Modelle können Kausalbeziehungen zwischen Variablen aufzeigen und helfen, Modelle zu trainieren, die die kausale Logik hinter den Daten verstehen.
Vermittlung grundlegender Axiome an das Modell: Sie vermitteln dem Modell direkt grundlegende Prämissen aus Logik und Mathematik, um das logische Schlussfolgern zu verbessern.
Überraschende Leistung kleiner Transformer-Modelle: Obwohl das Modell nur 67 Millionen Parameter hat, erreicht das mit dieser Methode trainierte Transformer-Modell in Bezug auf die Inferenzfähigkeit eine Leistung, die mit GPT-4 vergleichbar ist.
Kausales Schlussfolgern klingt wie die Domäne von Philosophen, ist aber bereits in alle Bereiche unseres Lebens integriert. Für die künstliche Intelligenz ist das Beherrschen des kausalen Schlussfolgerns, wie das Erlernen, die Welt mit „weil...deshalb...“ zu erklären. Aber KI lernt das nicht von Natur aus, sie muss es lernen, und dieser Lernprozess ist der Kern dieser Arbeit.
Axiom-basierte Trainingsmethode:
Stellen Sie sich einen sehr intelligenten Schüler vor, der aber nichts über die Kausalzusammenhänge der Welt weiß. Wie würden Sie ihn unterrichten? Die Forscher haben eine Lösung gefunden – das Axiom-Training. Es ist, als gäbe man der KI ein „Handbuch der Kausalzusammenhänge“, damit sie lernt, Kausalregeln zu erkennen und anzuwenden.
Die Forscher führten Experimente mit Transformer-Modellen durch und stellten fest, dass diese Trainingsmethode tatsächlich funktioniert! Die KI lernte nicht nur, Kausalzusammenhänge in kleinen Graphen zu erkennen, sondern konnte dieses Wissen auch auf größere Graphen anwenden, selbst wenn sie solche Graphen noch nie zuvor gesehen hatte.
Der Beitrag dieser Forschung liegt darin, dass sie eine neue Methode bietet, mit der KI kausales Schlussfolgern aus passiven Daten lernen kann. Es ist, als hätte man der KI eine neue „Denkweise“ gegeben, die es ihr ermöglicht, die Welt besser zu verstehen und zu erklären.
Diese Forschung zeigt nicht nur die Möglichkeiten des kausalen Schlussfolgerns für KI, sondern öffnet uns auch die Tür zu möglichen zukünftigen Anwendungen. Vielleicht können uns unsere intelligenten Assistenten in naher Zukunft nicht nur Fragen beantworten, sondern uns auch erklären, warum etwas so ist, wie es ist.
论文地址:https://arxiv.org/pdf/2407.07612v1