最近、極佳科技はDriveDreamer4Dと呼ばれる新しいフレームワークを発表しました。これは世界モデルの事前知識を利用して、4D運転シーンの再構築効果を高めることを目指しています。従来の4Dシーン再構築方法は、主にNeRFと3DGSの2つの流派に依存していました。NeRFはまるでスーパー画家のようなもので、ニューラルネットワークを用いて、多数の写真を3Dモデルにレンダリングします。一方、3DGSは多数の3次元ガウス関数を使用して、シーン内の様々なオブジェクトをシミュレートします。しかし、これら2つの方法には欠点があります。

研究チームは、より簡単な方法であるIllumiNeRFを提案しました。まず、照明条件の影響を受けた画像拡散モデルを用いて各入力画像を再照明し、次にこれらの再照明済みの画像を用いてニューラル放射場（NeRF）を再構築することで、目標照明下での新しい視点からのレンダリングを実現します。この戦略は驚くほど競争力があり、複数の再照明ベンチマークで最先端の結果を達成したことを実証しました。