乐天集团宣布推出其首个日本大语言模型（LLM）和小语言模型(SLM)，命名为Rakuten AI2.0和Rakuten AI2.0mini。这两款模型的发布旨在推动日本的人工智能（AI）发展。Rakuten AI2.0基于混合专家(MoE)架构，是一款8x7B 的模型，由八个各自拥有70亿参数的模型组成，每个模型充当一个专家。每当处理输入的 token 时，系统会将其发送给最相关的两个专家，由路由器负责选择。这些专家和路由器不断通过大量的高质量日英双语数据进行联合训练。Rakuten AI2.0mini 则是一款全新的、参数量为15亿的稠密模型，专为

["AI2.0 产品的崛起使得人工智能的应用范围更加广泛，已有超过 1000 个 AI 产品获得了融资。","通过 AI2.0 产品，创业者可以抓住 AI 时代的机遇，并思考如何用 AI 迭代现有业务。","AI 时代对现有行业产生剧烈冲击，大模型的发展也让原有的市场玩家面临竞争压力。"]