Skywork-MoE-Base
Modelo de especialista misto de alto desempenho com 146 bilhões de parâmetros
Produto ComumProgramaçãoModelo de especialista mistoParâmetros em larga escala
Skywork-MoE-Base é um modelo de especialista misto (MoE) de alto desempenho com 146 bilhões de parâmetros, composto por 16 especialistas e com 22 bilhões de parâmetros ativados. O modelo foi inicializado a partir do ponto de verificação denso do modelo Skywork-13B e introduz duas técnicas inovadoras: normalização lógica de portões para aumentar a diversidade de especialistas e um coeficiente de perda auxiliar adaptativo, permitindo o ajuste específico por camada do coeficiente de perda auxiliar. O Skywork-MoE demonstra desempenho comparável ou superior a modelos com mais parâmetros ou parâmetros ativados em vários benchmarks populares.
Skywork-MoE-Base Situação do Tráfego Mais Recente
Total de Visitas Mensais
29742941
Taxa de Rejeição
44.20%
Média de Páginas por Visita
5.9
Duração Média da Visita
00:04:44