大規模言語モデルが普及しつつある現代において、リソースが限られた環境で効率的な展開を実現する方法が重要な課題となっています。この課題を解決するため、Qwen2.5をベースとした軽量化大規模言語モデルシリーズ、DistilQwen2.5が正式にリリースされました。このモデルは革新的な二層蒸留フレームワークを採用し、データ最適化とパラメータ融合技術によって、モデルの性能を維持しつつ、計算資源の消費を大幅に削減することに成功しました。
DistilQwen2.5の成功は、独自の知識蒸留技術によるものです。このプロセスでは、まず大量の高品質な指示データが必要となります。これらのデータは、複数のオープンソースデータセットと独自の合成データセットから収集されています。データの多様性を確保するため、研究チームはQwen-maxを用いて中国語と英語のデータを拡張し、タスクと言語のバランスを実現しました。「ブラックボックス蒸留」を採用することで、教師モデルの出力を利用して指示の拡張、選択、書き換えを行い、データの質を高め、モデルの多様なタスク処理能力を強化しました。
注目すべきは、DistilQwen2.5がホワイトボックス蒸留技術も導入している点です。教師モデルのits分布を模倣することで、生徒モデルの知識獲得をより効率的に行っています。この技術により、従来のホワイトボックス蒸留が抱えていたGPUメモリ消費、保存と読み込み速度の遅さといった問題を回避しています。
複数の権威ある指示遵守評価基準によるテストで、DistilQwen2.5は目覚ましい成果を上げており、特にAlpacaEval2.0とMT-Benchでの評価は優れています。これは、軽量化大規模言語モデルの発展が新たな段階に入ったことを示しており、性能を維持したまま計算コストを大幅に削減することで、AI技術の様々なアプリケーションシナリオへの展開を促進します。
DistilQwen2.5のオープンソース化は、より多くの開発者がこの強力なツールを容易に使用できるようになり、人工知能技術の普及に貢献します。
