グローバルAI製品の動向を検索

先日、マイクロソフトリサーチはワシントン大学、スタンフォード大学、南カリフォルニア大学、カリフォルニア大学デービス校、カリフォルニア大学サンフランシスコ校の研究者らと共同で、LLaVA-Radを発表しました。これは、臨床放射線医学レポート作成の効率向上を目指した、新しい小型マルチモーダルモデル（SMM）です。このモデルの発表は、医学画像処理技術の大きな進歩を示すだけでなく、放射線医学の臨床応用にも新たな可能性をもたらします。バイオメディカル分野では、大規模基礎モデルに基づいた研究が進展しています。

北京大学などの研究チームが、LLaVA-o1というマルチモーダルなオープンソースモデルを発表しました。これは、自発的かつ体系的な推論を行うことができる、最初のビジョン言語モデルであるとされています。GPT-o1に匹敵する性能です。このモデルは、6つの難易度が高いマルチモーダルベンチマークテストで優れた性能を示し、110億パラメーターのバージョンでは、Gemini-1.5-pro、GPT-4o-mini、Llama-3.2-90B-Vision-Instructなどの競合他社を凌駕しました。

PaddleMIX 2.0は、百度が発表した多モーダル大規模モデル開発キットであり、多モーダルアプリケーション開発の簡素化を目指し、自動運転、スマート医療、検索エンジンなどのシナリオをサポートします。主な特長は以下のとおりです。1. **豊富なモデルライブラリ**: 画像、テキスト、ビデオ、音声に対応し、LLaVAシリーズモデルを追加、最先端技術をサポートします。2. **フルプロセス開発体験**: DataCopilotとAutoモジュールを搭載し、多モーダルモデルのトレーニングプロセスを簡素化します。3. **高性能トレーニング能力**

マイクロソフトは、LLaVAアーキテクチャを継承し、新機能を導入したマルチモーダルモデルLLaVA-1.5をオープンソース化しました。研究者による、ビジュアル質問応答、自然言語処理、画像生成などにおけるテストでは、LLaVA-1.5はオープンソースモデルの中で最高レベルに達していることが示されました。

💡オープンソース大規模モデルの開発動向：LLaVA 1.5のようなオープンソースモデルが急速に発展しており、GPT-4 Visionなどの商用クローズドソースモデルにとって強力な競争相手になりつつあります。🔥LLaVA 1.5の技術的ハイライト：CLIP画像エンコーダー、LLaMA言語モデル、MLPコネクターを統合。わずか60万件のトレーニングサンプルと1日で、非常に優れたマルチモーダルベンチマークテストの結果を得ています。📈LLaVA 1.5の効率性：他のオープンソース大規模モデルと比較して、計算効率が高く、リソース消費が低くなっています。

浙江大学の卒業生らがマイクロソフトリサーチと共同で、マルチモーダルモデルLLaVAを発表し、GPT-4Vに挑戦しています。LLaVAは11個のテストデータセットで優れた性能を発揮し、6,000以上のスターを獲得しました。モデルの総合的な能力は高く、GPT-4Vを85％上回る性能を示しています。LLaVAのオープンソースコード、モデル、およびトレーニングデータは既に利用可能です。