OPPOは本日、世界で初めて専門家混合モデル（MoE）アーキテクチャをモバイルデバイスに実装することに成功したと発表しました。この画期的な進歩により、AI処理効率が大幅に向上し、端末AI技術の更なる発展に向けた新たな道を切り開くとともに、AIとモバイルハードウェアの深層融合の基盤を築きました。AI技術の急速な発展に伴い、ますます多くのAIタスクを端末デバイス上で実行する必要が生じています。しかし、大規模なAIモデルは強力な計算能力を必要とするため、ハードウェア資源が限られているモバイルデバイスにとって大きな課題となっています。この課題を克服するために…

Google DeepMindは、百万規模のエキスパートモデルであるMixtureを提案する画期的な研究を発表しました。このモデルは、革新的なアーキテクチャを採用することで、Transformerベースのモデルを大きく進化させました。Mixtureは、10万を超えるマイクロエキスパートの中から効率的かつ迅速にスパース検索を行うことで、計算効率を維持しながらTransformerアーキテクチャの潜在能力を解き放つことに成功しています。最大のポイントは、パラメータ効率の高いエキスパート検索メカニズムであり、乗算キー技術による分離計算によって実現されています。