이미지 정보를 활용하여 점군 데이터의 3D 객체 검출 정확도를 향상시키기 위해 이미지 특징 공간과 점군 특징 공간의 적응적 정렬 및 융합 문제를 해결해야 한다. 본 논문에서는 다중 모달 특징 적응적 융합 3D 객체 검출 딥러닝 네트워크를 제안한다. 먼저 점군 데이터를 복셀화하고 복셀 내 점군 특징을 기반으로 복셀 특징 표현을 학습하며, 3D 희소 합성곱 신경망을 사용하여 점군 데이터 특징을 추출하고, ResNet 신경망을 통해 이미지 특징을 추출한다. 이후 상호 주의 모듈을 도입하여 이미지 특징과 점군 특징을 적응적으로 정렬하여 이미지 특징을 강화한 점군 특징을 얻는다. 마지막으로 이 특징을 기반으로 영역 제안 네트워크와 분류 회귀 다중 작업 학습 네트워크를 적용하여 3D 객체 검출을 수행한다. KITTI 3D 객체 검출 데이터셋에서의 실험 결과는 소형차의 쉬움, 중간, 어려움 세 가지 탐지 난이도 등급에서 평균 탐지 정확도가 각각 88.76%, 77.63%, 76.14%임을 보여준다. 이 방법은 이미지 정보와 점군 정보를 효과적으로 융합하여 3D 객체 검출 정확도를 향상시킬 수 있다.

3D 객체 검출; 딥러닝; 점군 데이터; 이미지 데이터; 주의 메커니즘