先日、Google Researchとイリノイ大学アーバナ・シャンペーン校の研究者らが、「無逆レンダリングによる3D再照明」と題する研究成果を発表しました。この研究では、未知の照明条件下にある一連の物体画像を用いて、目標照明下で新しい視点からレンダリング可能な3D表現を復元する、再照明ビュー合成手法について探求しています。
従来の手法は逆レンダリングに基づいており、入力画像を説明する物体の形状、材質、照明を分離しようとします。しかし、これは通常、微分可能なモンテカルロレンダリングによる最適化を伴い、脆弱で計算コストが高いという問題があります。
そこで、研究チームはより簡潔な手法IllumiNeRFを提案しました。まず、照明条件の影響を受けた画像拡散モデルを用いて各入力画像を再照明し、次にこれらの再照明画像を用いてニューラル放射場（NeRF）を再構築することで、目標照明下で新しい視点からのレンダリングを実現します。彼らは、この戦略が驚くほど競争力があり、複数の再照明ベンチマークテストで最先端の結果を達成したことを示しました。
具体的な動作原理は以下の通りです:
与えられた（a）の一連の画像とカメラ姿勢から、研究者らはNeRFを実行して3D形状を抽出します（(b)参照）。
この形状と（c）に示す目標照明に基づいて、与えられた各入力ビューに対して放射輝度ヒントを作成します（(d)参照）。
次に、（e）に示す再照明拡散モデルと、(f)に示す各与えられた画像のサンプルSを用いて、考えられる解を独立してサンプリングすることで、各入力画像を再照明します。
最後に、潜在NeRF最適化によって、再照明された画像セットを3D表現に洗練させます（(g)と(h)参照）。
3D一貫性のある再照明
最初の行は、最終的な潜在NeRFのレンダリング画像を示しています。
二行目は、上の各レンダリングフレームに対応する、最も近い訓練ビューの拡散サンプルを示しています。
この技術は、コンピュータグラフィックス、拡張現実（AR）、仮想現実（VR）の分野に応用できます。例えば、映画制作では、異なる照明条件下で3Dシーンをレンダリングすることで、撮影コストと時間を削減できます。VRアプリケーションでは、ユーザーは異なる照明環境下で仮想シーンを体験でき、リアリティと没入感を高めることができます。さらに、デジタルアート制作や建築設計などにも活用でき、ユーザーにより柔軟な照明表現とレンダリング効果を提供します。
製品へのアクセス：https://top.aibase.com/tool/illuminerf