Skywork-MoE-Base是一个具有1460亿参数的高性能混合专家(MoE)模型，由16个专家组成，并激活了220亿参数。该模型从Skywork-13B模型的密集型检查点初始化而来，并引入了两种创新技术：门控逻辑归一化增强专家多样化，以及自适应辅助损失系数，允许针对层特定调整辅助损失系数。Skywork-MoE在各种流行基准测试中表现出与参数更多或激活参数更多的模型相当的或更优越的性能。