日本政府は、NEC、富士通、ソフトバンクなどの主要IT企業と連携し、数億ドルを投じて文化に配慮した日本語言語モデルの開発を進めています。このモデルは、国家スーパーコンピュータ「富岳」でトレーニングされ、パラメータ数は少なくとも300億個に達する見込みです。これは、既存モデルが抱える日本市場における課題を解決することを目指しています。
研究者らは、モデルの日本文化への感度を評価する「ラクダランキングシステム」も開発しました。現在、GPT-3.5がトップの座に就いています。
さらに、日本政府は、科学用途向けにパラメータ数1000億個以上のより大規模なモデルの構築を計画しており、2031年には一般公開される予定です。