Skywork-MoE
146億パラメーターの高性能MoEモデル
プレミアム新製品プログラミングMoEモデル大規模言語モデル
Skywork-MoEは、146億パラメーターを持つ高性能な混合専門家(MoE)モデルであり、16個の専門家と22億の活性化パラメーターを含んでいます。このモデルは、Skywork-13Bモデルの密集型チェックポイントから初期化され、2つの革新的な技術、すなわち、ゲートロジット正規化による専門家の多様性の強化と、層固有の補助損失係数の調整を可能にする適応型補助損失係数、が導入されています。Skywork-MoEは、Grok-1、DBRX、Mistral 8*22、Deepseek-V2など、パラメーター数や活性化パラメーター数がより多いモデルと同等以上の性能を発揮します。
Skywork-MoE 最新のトラフィック状況
月間総訪問数
474564576
直帰率
36.20%
平均ページ/訪問
6.1
平均訪問時間
00:06:34