天眼查アプリによると、騰訊科技（深セン）有限公司は最近、「大規模言語モデルの訓練方法、装置、計算機設備および記憶媒体」という名称の特許を申請しました。この特許の要約は、この方法が第1要約テキストと第2要約テキストを導入することで、大規模言語モデルの訓練過程においてモデルにより多くの学習可能な情報を提供することを明らかにしています。
特許の説明によると、第1要約テキストと第2要約テキストは情報量に違いがあり、第1要約テキストには正しい文と間違った文が含まれています。同一テキストのこれら2つの異なる要約を比較学習し、正しい文と間違った文を区別することで、要約テキストが単一であることによって起こりうるモデルの過学習や不正確な生成などの問題を効果的に回避できます。
この方法の革新的な点は、モデルの汎化性能を高め、モデルの精度を効果的に向上させることです。多様な要約テキストの内容を導入することで、騰訊のこの訓練方法は、大規模言語モデルの訓練過程により効率的で正確な向上をもたらします。
バイトダンス傘下の豆包大規模言語モデルチームは先日、混合専門家モデル（MoE）アーキテクチャにおける主要なボトルネックを克服し、COMETという名称の重要な最適化技術をオープンソース化したと発表しました。この技術は、大規模言語モデルのトレーニング効率を大幅に向上させ、最大1.7倍の効率向上を実現し、トレーニングコストを40％削減することに成功しました。画像注記：画像はAIによって生成され、画像ライセンス提供サービスMidjourneyを使用しています。COMET技術は、バイトダンスの万規模GPUクラスタトレーニングで実際に適用されており、数百万GPU時間の節約に貢献しています。
3月10日、智元ロボットは、初の汎用具象ベースの大規模言語モデルであるGenie Operator-1（GO-1と略称）を発表しました。この発表は大きな注目を集め、特に家庭用サービスロボットの可能性という点において、将来の家事管理に新たな希望をもたらすものとして期待されています。智元ロボットの公式発表によると、GO-1大規模言語モデルは大量の人間のビデオ学習を通じて、コップの水を運ぶ、食事を作る、客を迎えるなど、多くの家事タスクをこなす優れた能力を示しています。技術性能に関しては、
報道によると、国家スパコンインターネットプラットフォームは阿里巴巴の通義千問大規模言語モデルへの接続を発表し、千問QwQ-32B APIサービスの正式提供を開始しました。本サービスを利用するユーザーは、最大100万トークンを無料で利用でき、多くの開発者や研究者にとって絶好の機会となります。千問QwQ-32Bは阿里巴巴通義チームが最近オープンソース化した推論モデルであり、優れた性能を誇ります。複数の権威ある評価データによると、千問QwQ-32Bの能力は「フルバージョン」の671Bと匹敵します。
