MaPa
3D形状にテキストを入力し、リアルなマテリアルを生成する
プレミアム新製品デザイン3Dデザインテキストからマテリアル
MaPaは、テキスト記述に基づいて3Dメッシュのマテリアルを生成する革新的な手法です。この技術は、セグメント化された手続き型マテリアルマップを作成することで外観を表現し、高品質なレンダリングと優れた編集性を両立しています。事前学習済みの2D拡散モデルを活用することで、膨大な対応データなしに、テキスト記述とマテリアルマップの橋渡しを実現します。形状を複数の部分に分割し、各セグメントを制御する拡散モデルを設計することで、メッシュ部分に合わせた2D画像を合成し、マテリアルマップのパラメータを初期化します。さらに、微分可能なレンダリングモジュールを用いて微調整を行い、テキスト記述に合致するマテリアルを生成します。広範な実験により、MaPaはリアルさ、解像度、編集可能性において既存技術を凌駕することが示されています。