バイトダンス傘下の豆包大規模言語モデルチームは先日、混合専門家モデル（MoE）アーキテクチャにおける主要なボトルネックを克服し、COMETという名称の重要な最適化技術をオープンソース化したと発表しました。この技術は、大規模言語モデルのトレーニング効率を大幅に向上させ、最大1.7倍の効率向上を実現し、トレーニングコストを40％削減することに成功しました。画像注記：画像はAIによって生成され、画像ライセンス提供サービスMidjourneyを使用しています。COMET技術は、バイトダンスの万規模GPUクラスタトレーニングで実際に適用されており、数百万GPU時間の節約に貢献しています。

Deepseekはオープンソースウィーク2日目の成果として、MoEモデル向けの初のオープンソースEP通信ライブラリを発表しました。混合専門家モデルのトレーニングと推論のフルスタック最適化を実現しています。DeepEPは、混合専門家（MoE）と専門家並列処理（EP）向けに設計された、高効率な通信ライブラリです。高スループットと低遅延の多対多GPUカーネル（一般的にMoEスケジューリングと組み合わせと呼ばれます）を提供することに重点を置いています。DeepEPは、FP8などの低精度演算をサポートするだけでなく、DeepSeek-V3論文とも連携しています。

バイトダンスDoubaoの大規模モデルチームは本日、新しいスパースモデルアーキテクチャUltraMemを開発したと発表しました。このアーキテクチャは、MoE（Mixture of Experts）モデル推論における高額なメモリアクセス問題を効果的に解決し、推論速度をMoEと比較して2～6倍向上させ、推論コストを最大83％削減します。この画期的な進歩は、大規模モデルの効率的な推論のための新しい道を切り開きます。UltraMemアーキテクチャは、モデルの性能を維持しながら、MoEアーキテクチャ推論におけるメモリアクセスのボトルネックを解消することに成功しました。実験結果によると、パラメータと活性化条件が同じ場合

バイトダンスは、最新のDoubao大規模言語モデル1.5Pro（Doubao-1.5-pro）を発表しました。この新しいモデルは、複数の分野で優れた総合的な能力を発揮し、業界をリードするGPT-4oやClaude3.5Sonnetを上回る性能を達成しました。このモデルの発表は、バイトダンスの人工知能分野における重要な一歩を示しています。Doubao 1.5Proは、新しいスパースMoE（混合専門家）アーキテクチャを採用しており、少ない活性化パラメーターで事前学習が行われています。この設計により、

幻方量化は12月26日夜、次世代大規模言語モデルDeepSeek-V3を発表し、驚異的な技術的ブレークスルーを示しました。MoE（Mixture of Experts）アーキテクチャを採用したこのモデルは、トップレベルのクローズドソースモデルに匹敵する性能を示すだけでなく、低コストで高効率である点が業界の注目を集めています。主要なパラメーターとしては、DeepSeek-V3は6710億パラメーター（活性化パラメーター370億）を備え、14.8兆トークンのデータ規模で事前学習が行われました。前世代モデルと比較して、新モデルの生成速度は3倍に向上しています。

テンセントは本日、MOE大規模言語モデルHunyuan-largeをオープンソース化しました。総パラメータ数は398B、活性化パラメータ数は52Bです。公開された評価結果によると、テンセント混元Largeは、CMMLU、MMLU、CEva1、MATHなどの多様な学問分野を網羅する評価セット、および中国語と英語のNLPタスク、コード、数学など9つの主要な分野で、Llama3.1、Mixtralなどのトップクラスのオープンソース大規模モデルを上回っています。このモデルは、高品質な合成データを実現する技術革新が施されており、〜

世界的なAI動画生成分野で新たな競争の波が押し寄せる中、中国のテクノロジー企業MiniMaxの海螺AIがその驚異的なパフォーマンスで注目を集めています。データによると、今年4月に誕生したこのAI製品は、9月にアクセス数が867.41％も増加し、世界中のAI製品のアクセス増加率ランキングで首位に躍り出ました。この製品のコアとなる競争力は、その基盤となる技術にあります。MiniMaxは、数兆パラメーターのMoEモデルabab-6.5に基づいて海螺AIを開発し、GPT-4、Cl…

OPPOは本日、世界で初めて専門家混合モデル（MoE）アーキテクチャをモバイルデバイスに実装することに成功したと発表しました。この画期的な進歩により、AI処理効率が大幅に向上し、端末AI技術の更なる発展に向けた新たな道を切り開くとともに、AIとモバイルハードウェアの深層融合の基盤を築きました。AI技術の急速な発展に伴い、ますます多くのAIタスクを端末デバイス上で実行する必要が生じています。しかし、大規模なAIモデルは強力な計算能力を必要とするため、ハードウェア資源が限られているモバイルデバイスにとって大きな課題となっています。この課題を克服するために…

深圳元象信息科技有限公司は先日、中国最大のMixture of Experts（MoE）オープンソース大規模言語モデルであるXVERSE-MoE-A36Bの公開を発表しました。このモデルの公開は、中国におけるAI分野における大きな進歩を示しており、国産オープンソース技術を国際的なトップレベルに引き上げます。

アレン人工知能研究所（AI2）は、高性能と低コストのソリューションを提供することを目的とした、オープンソースの大規模言語モデルOLMoEを発表しました。このモデルは、スパース混合専門家（MoE）アーキテクチャを採用しており、70億のパラメータを備えています。しかし、インテリジェントなルーティングメカニズムにより、各入力トークンは10億のパラメータしか使用せず、効率的な計算を実現しています。OLMoEには、汎用版と指示調整版の2つのバージョンがあり、4096トークンのコンテキストウィンドウをサポートしています。そのトレーニングデータはCommon Crawl、Dolma CC、ウィキペディアなど、幅広いソースから収集されています。

2024年テンセントグローバルデジタルエコシステムカンファレンスにおいて、テンセント社の副社長兼クラウドサービス担当社長である邱躍鵬氏は、次世代大規模言語モデル「混元Turbo」の正式発表を行いました。このモデルはMoE（Mixture of Experts）アーキテクチャに基づいて設計されており、前世代製品と比較して推論効率が2倍（100％向上）に向上し、推論コストは50％削減されました。さらに、「混元Turbo」はデコード効率においても優れた性能を示しており、2倍に向上しています。

MiniMax稀宇科技は最近、2021年末の設立以来、数兆パラメーターのMoEテキスト大規模言語モデル、音声大規模言語モデル、画像大規模言語モデルを構築し、星野AI、海螺AIなどのネイティブアプリケーションをローンチし、企業や開発者向けにオープンなプラットフォームAPIサービスを提供していると発表しました。

MiniMaxは2024年1月16日、国内初のMoE大規模言語モデルabab6を発表しました。MoEアーキテクチャにより、abab6は複雑なタスクの処理能力を備え、単位時間あたりのデータ学習量を増やすことができます。abab6は、命令遵守、中国語の総合能力、英語の総合能力において、以前のバージョンabab5.5を上回っています。abab6は、子供向けの算数の問題を教えたり、上海をテーマにした架空のボードゲームの作成を支援するなど、優れた能力を示しています。