先日、マイクロソフト研究チームと複数の大学研究者らが、「Magma」というマルチモーダルAIモデルを発表しました。このモデルは、画像、テキスト、ビデオなど複数のデータタイプを処理・統合し、デジタルと物理環境の両方で複雑なタスクを実行するために設計されています。テクノロジーの進歩に伴い、マルチモーダルAIエージェントは、ロボティクス、バーチャルアシスタント、ユーザーインターフェースの自動化など、幅広い分野で活用されています。従来のAIシステムは、視覚言語理解やロボット操作に特化していることが多く、両者を統合することが困難でした。

最近、アップルのAI研究チームは、次世代のマルチモーダル大規模言語モデル（MLLM）ファミリーであるMM1.5を発表しました。このモデルシリーズは、テキストや画像などの様々なデータタイプを組み合わせることで、複雑なタスクに対するAIの理解能力の高さを示しています。ビジュアルクエスチョン・アンサーリング、画像生成、マルチモーダルデータの解釈といったタスクは、これらのモデルによってより効果的に解決できるようになります。マルチモーダルモデルにおける大きな課題の一つは、異なるデータタイプ間で効果的な相互作用をどのように実現するかです。以前のモデルは多くの場合、処理において…

Salesforceは、テキストや画像など複数のデータタイプを同時に理解および生成することを目的とした、xGen-MMというオープンソースのマルチモーダルAIモデルを発表しました。これは、AI研究とアプリケーションの方法を大幅に変える可能性があります。このモデルは複数のベンチマークテストで優れたパフォーマンスを示しており、同様のオープンソースモデルと比較しても遜色ありません。事前学習済みモデル、データセット、ファインチューニングコードが含まれています。最大40億のパラメータを持つ最大モデルは、「インターリーブデータ」を処理し、複数の画像に関する質問への回答など、マルチタスクを実行できます。モデルの多様な選択肢は、AIの能力に対する期待を反映しています。

Metaは、EUにおける規制上の懸念から、まもなくリリースされるマルチモーダルAIモデル「Camel」の同地域でのリリースを一時停止しました。これにより、欧州企業は本モデルを使用することが制限され、データ保護とコンプライアンスに関する活発な議論を引き起こしています。新たなAI法案の技術適合期限（2026年8月）と、デジタル市場法案への潜在的な懸念から、MetaはEU圏内での本モデルのリリースを見送ると予想されます。Appleも同様の対応を取り、EUでのApple Intelligenceプラットフォームの実装を回避することを決定しています。Meta

Metaは水曜日、Axiosへの声明で、EUの規制が不明確であるため、同社は新しいマルチモーダルAIモデルやその将来のバージョンをEU加盟国の顧客にリリースしないと発表しました。この決定は、EUのAI規制環境に関する幅広い議論を引き起こしており、また、米国のテクノロジー大手企業が世界中で異なる規制要件に直面する際の戦略調整を反映しています。

2023年は、長年にわたるAI分野における最も破壊的な年であり、多くの生成AI製品が主流となりました。その変革の旅を続け、生成AIは2024年に、興奮の話題から現実世界の応用へと変化すると期待されています。生成AI分野は急速に発展しており、さまざまなトレンドを生み出しており、それらのトレンドは、さまざまな業界におけるAIの採用と、私たちの日常生活におけるAIの存在を促進するでしょう。生成AIモデルは、マルチモーダルな多機能性を統合することで、テキスト作成を超えています。

Unified-IO2は、人工知能分野における大きな飛躍を意味する、自己回帰能力を備えたモデルです。テキスト、画像、音声、動画など、多様なデータタイプを処理できます。革新的な単一エンコーダー-デコーダー・トランスフォーマーモデルは、従来のマルチモーダルデータ処理におけるモデルの限界を克服しました。35個のデータセットにおいてGRIT評価で新記録を樹立するなど、その性能は群を抜いており、特に画像生成においては競合他社を凌駕しています。Unified-IO2は、共有表現空間、事前学習済みのビジョントランスフォーマー、音声スペクトル変換など、複雑で革新的な手法を採用しています。

1. Hugging Faceが新しいオープンソースのマルチモーダルAIモデルIDEFIXを発表しました。2. IDEFIXはFlamingoビジョン言語モデルに基づいており、画像とテキストの入力をサポートしています。3. IDEFIXは、画像とテキストの理解タスクにおいて非常に優れたパフォーマンスを示しています。