Flock of Finches 37B-A11B v0.1是RWKV家族的最新成员，这是一个实验性模型，拥有11亿个活跃参数，尽管仅训练了1090亿个token，但在常见基准测试中的得分与最近发布的Finch 14B模型大致相当。该模型采用了高效的稀疏混合专家(MoE)方法，在任何给定token上仅激活一部分参数，从而在训练和推理过程中节省时间和减少计算资源的使用。尽管这种架构选择以更高的VRAM使用为代价，但从我们的角度看，能够低成本训练和运行具有更大能力模型是非常值得的。