Le groupe Rakuten a annoncé le lancement de ses premiers grands modèles linguistiques (LLM) et petits modèles linguistiques (SLM) japonais, nommés Rakuten AI2.0 et Rakuten AI2.0mini.
Le lancement de ces deux modèles vise à stimuler le développement de l'intelligence artificielle (IA) au Japon. Rakuten AI2.0, basé sur une architecture d'expert mixte (MoE), est un modèle 8x7B composé de huit modèles disposant chacun de 7 milliards de paramètres, chaque modèle agissant comme un expert. Lors du traitement des jetons d'entrée, le système les envoie aux deux experts les plus pertinents, le choix étant effectué par un routeur. Ces experts et le routeur sont entraînés conjointement sur un vaste ensemble de données bilingues japonais-anglais de haute qualité.
Rakuten AI2.0mini est un nouveau modèle dense de 1,5 milliard de paramètres, conçu pour un déploiement rentable sur des appareils périphériques, adapté à des scénarios d'application spécifiques. Il est également entraîné sur des données mixtes japonais-anglais, dans le but de fournir une solution pratique. Les deux modèles ont subi un réglage fin par instructions et une optimisation des préférences, et des modèles de base et des modèles d'instructions ont été publiés pour aider les entreprises et les professionnels à développer des applications d'IA.
Tous les modèles sont disponibles sous licence Apache2.0 et peuvent être obtenus via la bibliothèque officielle Hugging Face du groupe Rakuten. Les utilisations commerciales incluent la génération de texte, la synthèse de contenu, les questions-réponses, la compréhension du texte et la création de systèmes de dialogue. De plus, ces modèles peuvent servir de base à d'autres modèles, facilitant ainsi le développement et les applications ultérieures.
Ting Cai, responsable de l'IA et des données chez Rakuten, a déclaré : « Je suis extrêmement fière de la manière dont notre équipe a su combiner données, ingénierie et science pour lancer Rakuten AI2.0. Nos nouveaux modèles d'IA offrent des solutions puissantes et rentables pour aider les entreprises à prendre des décisions intelligentes, à accélérer la création de valeur et à ouvrir de nouvelles possibilités. En ouvrant nos modèles, nous espérons accélérer le développement de l'IA au Japon, encourager toutes les entreprises japonaises à construire, expérimenter et grandir, et favoriser une communauté collaborative et gagnante-gagnante. »
Blog officiel : https://global.rakuten.com/corp/news/press/2025/0212_02.html
Points clés :
🌟 Rakuten lance ses premiers grands modèles linguistiques (LLM) et petits modèles linguistiques (SLM) japonais, Rakuten AI2.0 et Rakuten AI2.0mini.
📊 Rakuten AI2.0 est basé sur une architecture d'expert mixte et possède huit modèles experts de 7 milliards de paramètres chacun, conçus pour traiter efficacement les données bilingues japonais-anglais.
🛠️ Tous les modèles sont disponibles sur la bibliothèque officielle Hugging Face de Rakuten et conviennent à diverses tâches de génération de texte, pouvant également servir de base à d'autres modèles.
