先日終了したCES展示会で、Stability AIはSPAR3D（Stable Point Aware3D）と呼ばれる革新的な手法を発表しました。この2段階の3D生成技術は、1秒以内に単一画像から精度の高い3Dオブジェクトを生成できます。この技術の登場により、ゲーム開発者、製品デザイナー、環境構築者にとって、全く新しい3Dプロトタイプ設計方法が提供されました。
SPAR3Dの特筆すべき点は、見える部分と見えない部分をそれぞれモデリングできる点です。3Dオブジェクト生成時には、正確な形状と、物体の背面の詳細を含む360度の完全なビューを提供します。ユーザーはリアルタイム編集機能を使用して、生成された3Dオブジェクトを直接修正できます。点群の削除、複製、伸縮、再着色などが可能で、操作の柔軟性と創造的な空間が大幅に向上します。
SPAR3Dのワークフローは2つの段階に分かれています。第1段階では、軽量な点拡散モデルを使用して疎な3D点群を生成し、サンプル抽出速度を極めて高速化します。第2段階では、これらの点群と入力画像を使用して、高詳細なメッシュモデルを構築します。この設計により、計算効率の向上と出力品質の確保が両立し、従来の単一画像3D再構成手法の限界を克服しています。
性能テストでは、SPAR3DはGSOとOmniobject3Dデータセットで優れた性能を示し、既存の最先端アルゴリズムを上回りました。研究チームは複数の実験を通じて、特に画像の遮蔽と詳細な再構成におけるこの技術の有効性を検証しました。SPAR3Dは明示的な点群を中間表現として採用しているため、ユーザーは3Dモデルをさらに編集でき、ユーザーエクスペリエンスが向上します。
SPAR3Dの機能概要は以下の通りです。
リアルタイム生成能力
高速生成：単一画像から完全な3Dオブジェクト構造を生成でき、生成時間は1秒以内です。
効率的な編集：編集後の点群から最終メッシュへの変換時間はわずか0.3秒です。
高度な編集機能
点群編集：ユーザーは点群を直接操作できます。削除、複製、伸縮、特徴の追加などが可能です。
再着色：3Dモデルの色を調整する機能を提供し、創作の柔軟性を高めます。
正確な構造予測
完全な構造予測：正確な形状と、隠れた領域を含む360度の詳細なビュー予測を提供します。
高解像度出力：三平面変換器を使用して高解像度の三平面データを作成し、画像のテクスチャと照明を捉えます。
オープンな利用ポリシー
幅広い利用許諾：商業利用と非商業利用をサポートし、ユーザーは複数のプラットフォームでこのモデルを取得して使用できます。
開発者フレンドリー：Hugging Faceから重みをダウンロードしたり、GitHubでコードを取得したり、APIにアクセスしたりできます。
公式紹介:https://stability.ai/news/stable-point-aware-3d
要点:
🌟 SPAR3Dは、1秒以内に単一画像から精度の高い3Dオブジェクトを生成し、リアルタイム編集機能をサポートします。
🔍 この技術は2段階の手法を採用し、点群と高詳細メッシュをそれぞれ生成することで、計算効率と出力品質を向上させています。
🚀 SPAR3Dは複数のデータセットで既存の3D再構成アルゴリズムを上回り、優れた性能とユーザー編集能力を示しています。
