Skywork-MoE-Base

Modelo de especialista misto de alto desempenho com 146 bilhões de parâmetros

Produto ComumProgramaçãoModelo de especialista mistoParâmetros em larga escala
Skywork-MoE-Base é um modelo de especialista misto (MoE) de alto desempenho com 146 bilhões de parâmetros, composto por 16 especialistas e com 22 bilhões de parâmetros ativados. O modelo foi inicializado a partir do ponto de verificação denso do modelo Skywork-13B e introduz duas técnicas inovadoras: normalização lógica de portões para aumentar a diversidade de especialistas e um coeficiente de perda auxiliar adaptativo, permitindo o ajuste específico por camada do coeficiente de perda auxiliar. O Skywork-MoE demonstra desempenho comparável ou superior a modelos com mais parâmetros ou parâmetros ativados em vários benchmarks populares.
Abrir Site

Skywork-MoE-Base Situação do Tráfego Mais Recente

Total de Visitas Mensais

29742941

Taxa de Rejeição

44.20%

Média de Páginas por Visita

5.9

Duração Média da Visita

00:04:44

Skywork-MoE-Base Tendência de Visitas

Skywork-MoE-Base Distribuição Geográfica das Visitas

Skywork-MoE-Base Fontes de Tráfego

Skywork-MoE-Base Alternativas