Kürzlich erklärte Yann LeCun, der Chef-KI-Wissenschaftler von Meta, dass autonome Maschinenintelligenz (AMI) das tägliche Leben der Menschen wirklich verbessern kann. Meta arbeitet daran, die Inferenzfähigkeit seines Llama-Modells zu verbessern, um mit Top-Modellen wie GPT-4o zu konkurrieren.
Meta-Vizepräsident Manohar Paluri erwähnte, dass sie untersuchen, wie das Llama-Modell nicht nur „planen“, sondern auch Entscheidungen in Echtzeit bewerten und bei sich ändernden Bedingungen anpassen kann. Diese iterative Methode kombiniert die „Gedankenketten“-Technik und zielt darauf ab, eine autonome Maschinenintelligenz zu erreichen, die Wahrnehmung, Schlussfolgerung und Planung effektiv kombiniert.
Darüber hinaus betonte Paluri, dass Modelle bei der KI-Inferenz in „nicht verifizierbaren Bereichen“ komplexe Aufgaben in überschaubare Schritte zerlegen müssen, um sich dynamisch anpassen zu können. Beispielsweise muss bei der Planung einer Reise nicht nur ein Flugticket gebucht, sondern auch die Wetteränderungen in Echtzeit berücksichtigt werden, was möglicherweise zu einer Umplanung der Route führt. Meta hat kürzlich auch das Dualformer-Modell vorgestellt, das im menschlichen Wahrnehmungsprozess dynamisch zwischen schneller Intuition und langsamerem Nachdenken umschalten kann, um komplexe Aufgaben effektiv zu lösen.
Für das Training des Llama-Modells verwendet Meta selbstüberwachtes Lernen (SSL), um dem Modell zu helfen, umfassende Datenrepräsentationen in mehreren Bereichen zu lernen und es flexibel zu machen. Gleichzeitig sorgt Reinforcement Learning mit menschlichem Feedback (RLHF) für eine verbesserte Leistung bei bestimmten Aufgaben. Die Kombination aus beidem ermöglicht es dem Llama-Modell, qualitativ hochwertige synthetische Daten zu generieren, insbesondere in Regionen mit knappen Sprachmerkmalen.
Bezüglich der Veröffentlichung von Llama4 gab Meta-CEO Mark Zuckerberg in einem Interview bekannt, dass das Team bereits mit dem Pretraining von Llama4 begonnen hat. Er erwähnte auch, dass Meta Rechencluster und Dateninfrastrukturen für Llama4 aufbaut, was voraussichtlich einen großen Fortschritt darstellen wird. Paluri bemerkte humorvoll, dass Zuckerberg auf die Frage nach dem Veröffentlichungszeitpunkt wahrscheinlich „heute“ antworten würde, was die schnellen Fortschritte des Unternehmens in der KI-Entwicklung unterstreicht.
Meta möchte in den kommenden Monaten weiterhin neue Llama-Versionen veröffentlichen, um die KI-Fähigkeiten kontinuierlich zu verbessern. Durch häufige Updates können Entwickler bei jeder Veröffentlichung mit erheblichen Verbesserungen rechnen.
Wichtigste Punkte:
- 🤖 Metas Chef-KI-Wissenschaftler ist der Meinung, dass autonome Maschinenintelligenz dazu beitragen wird, den Alltag zu verbessern.
- 🚀 Das Llama-Modell wird selbstüberwachtes Lernen und Reinforcement Learning kombinieren, um die Inferenzfähigkeit in mehreren Bereichen zu verbessern.
- 📅 Das Pretraining von Llama4 hat begonnen, die Veröffentlichung wird voraussichtlich um 2025 herum erfolgen.
