Skywork-MoE是一个具有146亿参数的高性能混合专家(MoE)模型，拥有16个专家和22亿激活参数。该模型从Skywork-13B模型的密集型检查点初始化而来。引入了两种创新技术：门控逻辑归一化，增强专家多样化；自适应辅助损失系数，允许层特定的辅助损失系数调整。Skywork-MoE在各种流行基准测试中，如C-Eval、MMLU、CMMLU、GSM8K、MATH和HumanEval，展现出与参数更多或激活参数更多的模型相当的或更优越的性能。