Qwen1.5-MoE-A2.7B
70億パラメーターモデルに匹敵する性能を持つ、大規模MoE言語モデル
編集者のおすすめプログラミング自然言語処理大規模モデル
Qwen1.5-MoE-A2.7Bは、わずか27億の活性化パラメーターしか持たない大規模MoE(Mixture of Experts)言語モデルです。しかし、その性能は70億パラメーターモデルに匹敵します。従来の大規模モデルと比較して、訓練コストを75%削減し、推論速度を1.74倍向上させています。これは、細粒度専門家、新しい初期化方法、ルーティングメカニズムなどを含む独自のMoEアーキテクチャ設計によって実現しました。これにより、モデルの効率性が大幅に向上しています。本モデルは、自然言語処理、コード生成など、さまざまなタスクに使用できます。
Qwen1.5-MoE-A2.7B 最新のトラフィック状況
月間総訪問数
4314278
直帰率
68.45%
平均ページ/訪問
1.7
平均訪問時間
00:01:08