最新の研究によると、DeepMindの大規模言語モデル(LLM)は、テキスト以外の分野、特に画像や音声データの圧縮において優れた性能を示すことが明らかになりました。
この研究により、LLMは単なるテキスト生成モデルではなく、強力なデータ圧縮器として再定義されることになります。
LLMの性能はデータセットのサイズに関連しますが、その巨大なサイズによって制限される面もあります。
最新の研究によると、DeepMindの大規模言語モデル(LLM)は、テキスト以外の分野、特に画像や音声データの圧縮において優れた性能を示すことが明らかになりました。
この研究により、LLMは単なるテキスト生成モデルではなく、強力なデータ圧縮器として再定義されることになります。
LLMの性能はデータセットのサイズに関連しますが、その巨大なサイズによって制限される面もあります。
人工知能の急速な発展を背景に、AI大規模言語モデルの研究開発と応用は活況を呈しています。最近、この分野における複数の企業や機関の最新動向が広く注目を集めています。まず、ChatGPTが登場する前のNVIDIAの時価総額倍率はウォール街で大きな注目を集め、専門家らは、これが2008年のアップルの成功神話を再現する兆候かもしれないと考えています。同時に、国泰君安の最高情報責任者である俞楓氏は、AI大規模言語モデルの台頭により証券業界が「インテリジェント認知」時代に入るだろうと述べています。
中国のスタートアップ企業Monicaが発表したAIエージェント製品Manusが、Xプラットフォームで最近話題になっています。その創業者である季逸超(Ji Yichao)氏は本日、ソーシャルメディアを通じて製品の技術詳細をさらに明らかにしました。季氏によると、Manusは阿里巴巴の千問(Qwen)大規模言語モデルに基づいて開発されており、複数の微調整モデルを用いて独自の機能を実現しています。この発表は、Manusの技術ソースに関する議論を引き起こしただけでなく、世界中のAIコミュニティにおけるその潜在力への関心をさらに高めています。季氏
バイトダンス傘下の豆包大規模言語モデルチームは先日、混合専門家モデル(MoE)アーキテクチャにおける主要なボトルネックを克服し、COMETという名称の重要な最適化技術をオープンソース化したと発表しました。この技術は、大規模言語モデルのトレーニング効率を大幅に向上させ、最大1.7倍の効率向上を実現し、トレーニングコストを40%削減することに成功しました。画像注記:画像はAIによって生成され、画像ライセンス提供サービスMidjourneyを使用しています。COMET技術は、バイトダンスの万規模GPUクラスタトレーニングで実際に適用されており、数百万GPU時間の節約に貢献しています。