アップルとスイス連邦工科大学ローザンヌ校（EPFL）の研究者らが、大規模マルチモーダルビジョンモデル「4M-21」をオープンソース化しました。特定のタスクやデータタイプに特化したモデルとは異なり、4M-21は汎用性と柔軟性を備えています。パラメータ数は30億と比較的少ないにも関わらず、画像分類、物体検出、セマンティックセグメンテーション、インスタンスセグメンテーション、深度推定、表面法線推定など、数十種類の機能を提供します。

アップルとスイス連邦工科大学ローザンヌ校（EPFL）の研究者らが共同で開発した、任意のモダリティ間の変換が可能な単一モデル。数十種類にも及ぶ多様なモダリティでトレーニングされ、大規模なマルチモーダルデータセットとテキストコーパスを協調して学習しています。4M-21と名付けられたこのモデルは、21種類の異なるモダリティでトレーニングされており、既存のモデルと比較して少なくとも3倍以上のタスクをこなすことができ、パフォーマンスの低下もありません。