3Dモデリングにおいて、リアルなテクスチャの生成は長年の課題でした。最近、アルバータ大学、トロント大学、そしてファーウェイ・ノアの方舟研究所の研究者らが共同で、新しい手法TexGenを発表しました。この技術は、ユーザーのテキスト記述に基づいて対応する3Dテクスチャを生成し、既存の同種技術を大きく上回る効果を発揮します。
製品入口：https://top.aibase.com/tool/texgen
TexGenの中核は、多視点サンプリングとリサンプリングのフレームワークであり、事前に学習されたテキストから画像への拡散モデルを用いて操作を行います。従来の手法では、テクスチャ生成時に目に見える継ぎ目や過剰な滑らかさの問題が発生することがありました。
TexGenは、RGB空間をパラメータとするテクスチャマップを維持し、拡散モデルのサンプリングステップごとに更新することで、視点間の差異を効果的に低減します。この視点の一貫性のあるサンプリング方法により、各視点間のテクスチャがより自然で滑らかに繋がります。
TexGenには、アテンションガイド付きの多視点サンプリング戦略も導入されています。この戦略により、テクスチャの外観情報が異なる視点間で共有され、生成されたテクスチャがすべての視点で一貫性を保つことが保証されます。
さらに、テクスチャの詳細を保護するために、研究チームはノイズリサンプリング技術も開発しました。これによりノイズの推定が可能になり、後続のノイズ除去ステップに適切な入力が生成されます。このように、TexGenはテクスチャ生成においてだけでなく、テクスチャ編集においても優れた性能を発揮し、元のスタイルを維持しながら調整を行うことができます。
数多くの定性的および定量的評価を経て、研究チームはTexGenが、多様な3Dオブジェクトのテクスチャ品質、視点の一貫性、そして豊富な外観ディテールにおいて、最先端の手法を凌駕する優れた性能を示すことを発見しました。
以下はTexGenとTEXTure、Text2Tex、Fantasia3D、ProlificDreamerの比較です。
以下にいくつかの効果例を示します。
要点：
🌟 TexGenはテキスト記述に基づいて高品質な3Dテクスチャを生成し、従来の手法における継ぎ目や過剰な滑らかさの問題を解決します。
👀 多視点サンプリングとリサンプリングフレームワークを採用し、各視点間のテクスチャの一貫性を確保します。
🖌️ 新しいノイズリサンプリング技術により、TexGenはテクスチャ編集においても優れた性能を発揮し、元のスタイルを維持できます。
