Flock of Finches 37B-A11B v0.1 é o mais recente membro da família RWKV. Trata-se de um modelo experimental com 1,1 bilhão de parâmetros ativos. Apesar de ter sido treinado apenas com 109 bilhões de tokens, suas pontuações em benchmarks comuns são comparáveis às do modelo Finch 14B recentemente lançado. O modelo emprega um método eficiente de mistura esparsa de especialistas (MoE), ativando apenas uma parte dos parâmetros em qualquer token dado, economizando tempo e reduzindo o uso de recursos computacionais durante o treinamento e a inferência. Embora essa escolha arquitetônica resulte em maior uso de VRAM, acreditamos que a capacidade de treinar e executar modelos com maior capacidade a baixo custo é extremamente vantajosa.