画像情報を利用して点群データの3D物体検出精度を向上させるために、画像特徴空間と点群特徴空間の適応的整合融合の問題を解決する必要がある。本稿では、多モーダル特徴の適応的融合による3D物体検出ディープラーニングネットワークを提案する。まず、点群データをボクセル化し、ボクセル内の点群特徴に基づいてボクセル特徴表現を学習し、3Dスパース畳み込みニューラルネットワークを用いて点群データの特徴を取得し、同時にResNetニューラルネットワークで画像特徴を抽出する。次に、相互注意モジュールを導入して画像特徴と点群特徴を適応的に整合し、画像特徴に基づいて強化された点群特徴を得る。最後に、この特徴に基づいて領域提案ネットワークと分類回帰多タスク学習ネットワークを適用し、3D物体検出を実現する。KITTI 3D物体検出データセットでの実験結果は、乗用車の簡単、中程度、困難の3つの異なる検出難易度レベルでの平均検出精度がそれぞれ88.76%、77.63%、76.14%であることを示している。本方法は画像情報と点群情報を効果的に融合し、3D物体検出の精度を向上させることができる。

3D物体検出;深層学習;点群データ;画像データ;注意機構