Die Rakuten-Gruppe hat die Einführung ihres ersten japanischen Large Language Models (LLM) und Small Language Models (SLM) angekündigt, die Rakuten AI2.0 und Rakuten AI2.0mini heißen.
Die Veröffentlichung dieser beiden Modelle zielt darauf ab, die Entwicklung der künstlichen Intelligenz (KI) in Japan voranzutreiben. Rakuten AI2.0 basiert auf einer Mixture-of-Experts (MoE)-Architektur und ist ein 8x7B-Modell, das aus acht einzelnen Modellen mit jeweils 7 Milliarden Parametern besteht, wobei jedes Modell als Experte fungiert. Bei der Verarbeitung eines eingehenden Tokens sendet das System es an die beiden relevantesten Experten, wobei ein Router für die Auswahl zuständig ist. Diese Experten und der Router werden kontinuierlich mit einer großen Menge hochwertiger japanisch-englischer zweisprachiger Daten gemeinsam trainiert.
Rakuten AI2.0mini ist ein neues, dichtes Modell mit 1,5 Milliarden Parametern, das speziell für den kostengünstigen Einsatz auf Edge-Geräten entwickelt wurde und sich für spezifische Anwendungsfälle eignet. Es wird ebenfalls mit gemischten japanisch-englischen Daten trainiert und soll eine praktische Lösung bieten. Beide Modelle wurden durch Instruction Tuning und Preference Optimization optimiert und als Basismodelle und Instruktionsmodelle veröffentlicht, um Unternehmen und Fachleute bei der Entwicklung von KI-Anwendungen zu unterstützen.
Alle Modelle verwenden die Apache2.0-Lizenz und sind über das offizielle Hugging Face-Repository der Rakuten-Gruppe verfügbar. Kommerzielle Anwendungen umfassen Textgenerierung, Inhaltszusammenfassung, Frage-Antwort-Systeme, Textverständnis und den Aufbau von Dialogsystemen. Darüber hinaus können diese Modelle als Grundlage für weitere Modelle dienen und so die Weiterentwicklung und Anwendung erleichtern.
Rakutens Chief AI & Data Officer, Ting Cai, sagte: „Ich bin unglaublich stolz auf unser Team und wie es Daten, Technik und Wissenschaft kombiniert hat, um Rakuten AI2.0 auf den Markt zu bringen. Unsere neuen KI-Modelle bieten leistungsstarke und kostengünstige Lösungen, die Unternehmen dabei unterstützen, intelligente Entscheidungen zu treffen, die Wertschöpfung zu beschleunigen und neue Möglichkeiten zu eröffnen. Durch die Öffnung der Modelle wollen wir die KI-Entwicklung in Japan beschleunigen und alle japanischen Unternehmen dazu ermutigen, zu bauen, zu experimentieren und zu wachsen, um eine gemeinschaftliche und erfolgreiche Community zu fördern.“
Offizieller Blog: https://global.rakuten.com/corp/news/press/2025/0212_02.html
Wichtigste Punkte:
🌟 Die Rakuten-Gruppe bringt ihr erstes japanisches Large Language Model (LLM) und Small Language Model (SLM) auf den Markt: Rakuten AI2.0 und Rakuten AI2.0mini.
📊 Rakuten AI2.0 basiert auf einer Mixture-of-Experts-Architektur und verfügt über acht Expertenmodelle mit jeweils 7 Milliarden Parametern, die auf die effiziente Verarbeitung japanisch-englischer zweisprachiger Daten ausgelegt sind.
🛠️ Alle Modelle sind im offiziellen Rakuten Hugging Face-Repository verfügbar und eignen sich für verschiedene Textgenerierungsaufgaben. Sie können auch als Grundlage für andere Modelle dienen.
