バイトダンスDoubaoの大規模モデルチームは本日、新しいスパースモデルアーキテクチャUltraMemを開発したと発表しました。このアーキテクチャは、MoE（Mixture of Experts）モデル推論における高額なメモリアクセス問題を効果的に解決し、推論速度をMoEと比較して2～6倍向上させ、推論コストを最大83％削減します。この画期的な進歩は、大規模モデルの効率的な推論のための新しい道を切り開きます。UltraMemアーキテクチャは、モデルの性能を維持しながら、MoEアーキテクチャ推論におけるメモリアクセスのボトルネックを解消することに成功しました。実験結果によると、パラメータと活性化条件が同じ場合

2024年テンセントグローバルデジタルエコシステムカンファレンスにおいて、テンセント社の副社長兼クラウドサービス担当社長である邱躍鵬氏は、次世代大規模言語モデル「混元Turbo」の正式発表を行いました。このモデルはMoE（Mixture of Experts）アーキテクチャに基づいて設計されており、前世代製品と比較して推論効率が2倍（100％向上）に向上し、推論コストは50％削減されました。さらに、「混元Turbo」はデコード効率においても優れた性能を示しており、2倍に向上しています。

文心大規模モデルの1日あたりの呼び出し回数は5000万回を超え、前四半期比で190％増加。約2万6000社の企業が文心大規模モデルを利用しており、前四半期比で150％増加。サムスン、Honor、汽車之家などの有名企業が百度と連携。百度は文心大規模モデルの推論コストを継続的に削減しており、現在は昨年3月版の1％にまで低減。文心大規模モデルを利用するユーザーと企業が増加している。

百度文心大規模モデルの推論コストは、従来の1％に低下しました。文心大規模モデルの1日あたりの呼び出し回数は5000万回を超え、前四半期比で190％増加しました。文心大規模モデルを利用する企業は約2万6000社にのぼり、前四半期比で150％増加しています。