현재 적외선과 가시광 모드 융합 기반 보행자 검출 방법이 외부 환경 변화에 적응하기 어려운 문제에 대응하여, 다중 모드 정보 융합 가중치 학습 기반 보행자 검출 네트워크를 제안한다. 우선, 대부분의 연구에서 사용하는 두 모드 직접 병합 융합 방식과 달리, 가중치 학습 융합 네트워크는 다양한 환경 조건에 따른 두 모드의 보행자 검출 임무 기여도 차이를 고려하며, 이중 스트림 상호 학습을 통해 두 모드의 차이를 학습한다. 이후 각 모드 특성의 현재 상태에 따라 각 모드 특성에 해당하는 가중치를 자율적으로 얻어 가중 융합으로 융합 특징을 생성한다. 마지막으로 융합 특징을 기반으로 새로운 특징 피라미드를 생성하고, 보행자 우선 영역 크기와 밀도를 변경하여 보행자 사전 정보를 풍부하게 하여 보행자 검출 임무를 완수한다. 실험 결과 Kaist 다중 스펙트럼 보행자 검출 데이터셋에서 평균 누락률 26.96%를 달성했으며, 현재 직접 병합 방법과 기준 방법과 비교하여 각각 2.77% 및 27.84% 감소하였다. 따라서 적응형 가중치 융합을 통해 적외선 및 가시광 두 모드 정보를 효과적으로 보완하여 외부 환경 변화에 적응할 수 있어 보행자 검출 성능을 크게 향상시킬 수 있다.

보행자 검출;다중 모드 정보;가중치 학습;적응형 융합;딥러닝