智源研究院は最近、10億パラメーターの3次元ビジョン汎用モデル「Uni3D」をオープンソース化しました。このモデルは点群データを処理でき、主要な3次元ビジョンタスクにおいて全方位的な技術的ブレークスルーを達成し、非常に強力な汎用的なビジョン能力を示しています。
Uni3Dの開発チームは、2次元ビジョンモデルの設計経験を参考に、マルチモーダルアライメントのトレーニング方法を導入しました。これにより、2次元ビジョンモデルが学習した知識を直接継承し、強力な3次元ビジョン能力を獲得することができました。
このモデルは、様々な3次元ビジョンタスクにおいて最先端の結果(state-of-the-art)を達成し、その強力な汎用性と転移学習能力を示しました。智源研究院は、Uni3Dのオープンソース化が、将来の3次元コンピュータビジョンの研究と応用に堅実な基盤を築くと述べています。