アリババの達摩院が多言語の大規模言語モデルBabelをオープンソースで公開しました。その壮大な目標は、言語の壁を取り払い、AIが世界人口の9割以上の言語を理解し、使用してコミュニケーションできるようにすることです。
現在、多くのLLMは、英語、フランス語、ドイツ語など、リソースが豊富な言語を優先する傾向があります。しかし、国際会議で取り上げられることの少ない小言語話者のように、ヒンディー語、ベンガル語、ウルドゥー語など、膨大なユーザーを抱える言語は、AI分野ではしばしば見過ごされてきました。
アリババのBabelはこの状況を変えようとしています。世界で最も多く使用されている上位25言語をサポートし、世界人口の90％以上をカバーしています。さらに素晴らしいのは、スワヒリ語、ジャワ語、ミャンマー語など、オープンソースのLLMではほとんど扱われていない言語にも対応していることです。この取り組みは、これらの言語を使用する数十億の人々に、より便利で質の高いAI言語サービスを提供することでしょう。
従来の継続的プリトレーニングとは異なり、Babelは独自のレイヤー拡張技術を使用してモデルの能力を向上させています。この方法は、モデルの既存の基盤の上に、より巧妙な方法で「知識蓄積」を追加することで、性能を向上させながら計算効率も確保するものです。研究チームは、それぞれ特徴の異なる2つのモデルを発表しました。Babel-9Bは、効率的な単一GPU推論とファインチューニング向けに最適化されており、Babel-83Bは830億パラメーターを持つ大規模モデルで、オープンソースの多言語LLMにおける新たなベンチマークとなることを目指しています。
Babelの性能を検証するため、研究チームは複数の多言語タスクで厳格な評価を行いました。結果は非常に素晴らしく、90億パラメーターのBabel-9Bと830億パラメーターのBabel-83Bの両方で、同規模の他のオープンソースモデルを複数のベンチマークテストで上回りました。例えば、世界知識（MMMLU、M3Exam）、推論（MGSM、XCOPA）、理解（XNLI）、翻訳（Flores-200）などのタスクで優れた性能を示しました。
特に注目すべきは、リソースの少ない言語を処理する場合、Babelの精度は従来の多言語LLMと比べて5％から10％向上しました。これは、Babelが言語のカバー範囲を拡大しながら、さまざまな言語におけるモデルの性能にも重点を置いていることを示しています。
さらに驚くべきことに、100万を超える対話データセットで教師ありファインチューニング（SFT）を行った後、BabelのチャットバージョンであるBabel-9B-ChatとBabel-83B-Chatは強力な対話能力を示し、その性能は一部の最先端の商用AIモデルに匹敵するレベルに達しており、Babel-83B-Chatは特定のタスクではGPT-4と競合できるレベルに達しています。これは、オープンソースコミュニティに新たな活力を与え、多言語能力においてもオープンソースモデルがトップレベルの地位を獲得できることを証明しています。
プロジェクト:https://babel-llm.github.io/babel-llm/
github:https://github.com/babel-llm/babel-llm
