既存の深層学習に基づく物体分類方法は主にリモートセンシング画像を対象としており、点群データの空間情報の利用が不十分であり、特に点群と画像といった異種特徴の融合が十分でない問題に対して、独立ブランチネットワーク構造を用いたマルチソースリモートセンシングデータの適応的融合物体分類手法を提案する。まず、整列されたLiDAR点群とリモートセンシング画像に対して、それぞれ三次元ネットワークおよび二次元ネットワークを用いて各モダリティの空間幾何特徴およびセマンティック特徴を抽出する。次に、点群空間において画像特徴に対するクロスモーダルサンプリングおよび特徴整列を行い、点ベースのマルチソース特徴を得る。最後に、注意機構に基づく非線形適応特徴融合法を採用し、2Dおよび3Dのセマンティック特徴の融合を実現する。実験結果は、本手法がネットワーク学習を通じて適応的なデータ特徴のマルチソースリモートセンシングデータ融合分類を可能にし、ISPRSマルチソースリモートセンシングデータセットにおける植生、建物、地面の三種類の物体の平均分類精度が85.87％に達し、三次元点群セマンティックセグメンテーションの分類精度より10.12％向上したことを示している。本論文で提案する独立ブランチ融合ネットワークは、2Dおよび3Dデータの相互学習および深い融合を実現し、リモートセンシングのマルチソースデータ物体分類に新たなアプローチを提供する。

LiDAR点群;リモートセンシング画像;マルチソースデータ;独立ブランチネットワーク;適応特徴融合