기존의 적외선 및 가시광선 영상 융합 시 융합 결과에 세부 정보 손실 및 특징 추출 부족 문제가 존재하는 가운데, 다중 스케일 밀집 연결 주의 메커니즘을 활용한 적외선 및 가시광선 영상 융합 심층 학습 네트워크 모델을 제안하였다. 먼저, 적외선 및 가시광선 영상에서 다양한 스케일의 정보를 추출하기 위해 다중 스케일 합성곱을 설계하여 수용 영역의 특징 추출 범위를 확장하고 단일 스케일 특징 추출의 부족 문제를 극복하였다. 그 다음, 밀집 연결 네트워크를 통해 특징 추출을 강화하였고, 인코더 서브네트워크 끝단에서 제안된 변형 합성곱 주의 메커니즘을 적용하여 전역 문맥 정보를 밀접하게 연계하며 적외선 및 가시광선 영상 내 중요한 특징 정보에 대한 집중력을 향상시켰다. 마지막으로, 전 합성곱층으로 구성된 디코더 네트워크가 융합 이미지를 재구성하였다. 본 논문은 6가지 이미지 융합 객관적 평가 지표를 선택하였으며, 적외선 및 가시광선 영상 공개 데이터셋 융합 실험 결과는 다른 8가지 방법과 비교할 때 본 알고리즘의 평가 지표가 모두 향상되었음을 보였고, 구조 유사도 지수(SSIM)와 공간 주파수(SF) 지표가 각각 평균 0.26배, 0.45배 향상되었다. 제안된 방법의 융합 결과는 더 뚜렷한 에지 및 목표 정보를 보존하며, 대비 및 선명도가 우수하여 객관적 평가에서 비교 방법보다 우수한 성능을 나타냈다.

적외선 및 가시광선 영상; 이미지 융합; 다중 스케일 특징 추출; 밀집 연결 네트워크; 주의 메커니즘