Flock of Finches 37B-A11B v0.1 est le dernier né de la famille RWKV. Il s'agit d'un modèle expérimental disposant de 1,1 milliard de paramètres actifs. Bien qu'il n'ait été entraîné que sur 109 milliards de jetons, il obtient des scores comparables à ceux du modèle Finch 14B récemment publié sur les benchmarks courants. Ce modèle utilise une méthode MoE (Mixture of Experts) parcimonieuse et efficace, activant seulement une partie des paramètres sur un jeton donné, ce qui permet de gagner du temps et de réduire les ressources de calcul pendant l'entraînement et l'inférence. Bien que cette architecture implique une consommation de VRAM plus élevée, nous pensons que la possibilité d'entraîner et d'exécuter des modèles plus puissants à moindre coût est un atout considérable.