李飛飛チームは、人間の動作を理解・生成し、言語モデルと組み合わせることで口頭・非言語の統一処理を実現する新たな多モーダルモデルを発表しました。この画期的な研究により、機械は人間の指示を理解するだけでなく、動作に含まれる感情を読み解き、より自然なヒューマンコンピュータインタラクションが可能になります。本モデルの中核は、音声、動作、テキストなど多様な形式の入力を受容し、必要なモーダルデータを出力する多モーダル言語モデルフレームワークにあります。生成系事前学習戦略と組み合わせることで、モデルは…

最近、Molmoというオープンソースの多モーダルAIモデルが業界で大きな注目を集めています。OpenAIのCLIPをビジョン処理エンジンとして使用し、Qwen2-72BをベースとしたこのAIシステムは、その優れた性能と革新的な機能で、従来の商用モデルの覇権に挑戦しています。Molmoの顕著な特徴はその高い性能です。比較的サイズが小さいにもかかわらず、処理能力は10倍規模の競合他社に匹敵します。この小さくても強力な設計思想は、モデルの効率性を高めることに貢献しています。

アップルとスイス連邦工科大学ローザンヌ校（EPFL）の研究者らが共同で開発した、任意のモダリティ間の変換が可能な単一モデル。数十種類にも及ぶ多様なモダリティでトレーニングされ、大規模なマルチモーダルデータセットとテキストコーパスを協調して学習しています。4M-21と名付けられたこのモデルは、21種類の異なるモダリティでトレーニングされており、既存のモデルと比較して少なくとも3倍以上のタスクをこなすことができ、パフォーマンスの低下もありません。