Le groupe Rakuten a annoncé le lancement de son premier grand modèle linguistique (LLM) et petit modèle linguistique (SLM) japonais, baptisés Rakuten AI 2.0 et Rakuten AI 2.0 mini. Ces lancements visent à stimuler le développement de l'intelligence artificielle (IA) au Japon. Rakuten AI 2.0, basé sur une architecture d'expert mixte (MoE), est un modèle 8x7B composé de huit modèles possédant chacun 7 milliards de paramètres, chaque modèle agissant comme un expert. Lors du traitement des jetons d'entrée...

Le gouvernement japonais collabore avec des géants de la technologie tels que NEC, Fujitsu et SoftBank pour investir des centaines de millions de dollars dans le développement d'un modèle linguistique japonais sensible à la culture. Ce nouveau modèle sera entraîné sur le supercalculateur national Fugaku et comportera au moins 30 milliards de paramètres, surpassant ainsi nettement les modèles existants. L'objectif est de remédier aux lacunes des modèles actuels sur le marché japonais, telles que la génération de caractères rares et des conventions de communication culturellement inappropriées. Les chercheurs ont développé le système de classement Rakuda pour évaluer la sensibilité du modèle à la culture japonaise. GPT-3.5 se classe actuellement….