Flock of Finches 37B-A11B v0.1はRWKVファミリーの最新モデルであり、実験的なモデルです。11億個の活性化パラメータを持ち、わずか1090億個のトークンで学習したにもかかわらず、一般的なベンチマークテストでは最近リリースされたFinch 14Bモデルとほぼ同等のスコアを達成しています。このモデルは、効率的なスパース混合専門家（MoE）手法を採用しており、任意のトークンに対して一部のパラメータのみを活性化するため、学習と推論の過程で時間と計算資源を節約できます。このアーキテクチャの選択はVRAM使用量の増加を招きますが、より強力なモデルを低コストで学習および実行できることは、我々の観点からは非常に価値のあることです。