Skywork-MoE

146億パラメーターの高性能MoEモデル

プレミアム新製品プログラミングMoEモデル大規模言語モデル
Skywork-MoEは、146億パラメーターを持つ高性能な混合専門家(MoE)モデルであり、16個の専門家と22億の活性化パラメーターを含んでいます。このモデルは、Skywork-13Bモデルの密集型チェックポイントから初期化され、2つの革新的な技術、すなわち、ゲートロジット正規化による専門家の多様性の強化と、層固有の補助損失係数の調整を可能にする適応型補助損失係数、が導入されています。Skywork-MoEは、Grok-1、DBRX、Mistral 8*22、Deepseek-V2など、パラメーター数や活性化パラメーター数がより多いモデルと同等以上の性能を発揮します。
ウェブサイトを開く

Skywork-MoE 最新のトラフィック状況

月間総訪問数

474564576

直帰率

36.20%

平均ページ/訪問

6.1

平均訪問時間

00:06:34

Skywork-MoE 訪問数の傾向

Skywork-MoE 訪問地理的分布

Skywork-MoE トラフィックソース

Skywork-MoE 代替品