拡散反射と鏡面反射光を分離する編集可能なニューラルテクスチャマッピング

ZENG Sheng ,  

WU Xiangjuan ,  

GENG Guohua ,  

摘要

3D物体の幾何とテクスチャを分離するデータ駆動型深層学習手法は外観編集が可能であるが、局所的なテクスチャ編集後にネットワークを通したレンダリングビューの忠実度はまだ不十分であり、また暗黙的なニューラルネットワークがエンドツーエンドでビューレンダリングを行うため制御性もまだ強くない。従来の方法のように物体の外観を柔軟に編集するために、拡散反射と鏡面反射光を分離する編集可能なニューラルテクスチャマッピング手法を提案する。まず物理ベースの照明モデルに基づき、拡散反射、鏡面反射、テクスチャマッピングの3つの独立した段階の学習フレームワークを構築する。次に球状空間サンプリングに基づいてニューラル放射場を構築し、拡散成分の損失関数を設け、実データ監督学習と同時に拡散照明エネルギー分布を学習する。その後3Dガウススプラッシュに基づくニューラルシェルネットワーク手法は多解像度ハッシュコーディング可能な色情報を用い、拡散成分を加えた後実画像による監督学習で視角依存の鏡面反射モデリングを実現する。最後に循環的一貫性テクスチャマッピングネットワークを用いて色空間に依存しない位置で明示的な2Dテクスチャを得て、視角非依存の拡散色成分をテクスチャマップに一対一対応させ、編集テクスチャ画像の逆操作神経テクスチャを実現する。実験結果は、DTU公共データセット上で、先進的な編集可能テクスチャNeuTexおよびTexture-GS法と比較して、新視点合成テストセットの定量指標でピーク信号雑音比が平均5.6%向上し、知覚的画像損失が平均18%低減し、NeRFSynデータセット上の構造類似指数にも優位性があり、明示的な編集テクスチャ後にニューラルネットで多視点ビューをレンダリングした際に格段に鮮明になった。本手法は、ニューラルテクスチャの構築と制御可能な編集を実現し、暗黙的なニューラル表現の3Dモデルの外観を2Dテクスチャ上で柔軟かつ明示的に修正でき、多視点外観の一貫性を保証する。

关键词

物理ベースレンダリング;ニューラル放射場;3Dガウススプラッシュ;テクスチャマッピング

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website