저조도 조건에서 조명을 무시하여 텍스처 세부 사항이 흐릿하고 시각적 인식이 낮은 적외선 및 가시광선 이미지 융합 문제를 해결하기 위해 본 논문에서는 저조도 강화 및 의미 주입식 다중 스케일 적외선 및 가시광선 이미지 융합 방법을 제안한다. 먼저, 잔차 모델을 반복적으로 적용하여 야간 환경에서 가시광선 이미지를 강화하는 저조도 강화에 적합한 네트워크를 설계하였다. 이후, Nest 구조 기반 특징 추출기를 네트워크의 인코더 및 디코더로 사용하였으며, 깊은 특징이 이미지의 복잡한 구조와 의미 정보를 캡처할 수 있도록 의미 우선 학습 모듈을 설계하여 교차 주의를 통해 깊은 적외선 및 가시광선 이미지의 의미 정보를 추가로 추출하고, 의미 주입 단위를 사용해 강화된 특징을 각 스케일에 단계적으로 주입하였다. 둘째, 그래디언트 강화 분기를 설계하여 주류 특징이 혼합 주의를 거친 후 Sobel 연산자 흐름과 Laplacian 연산자 흐름으로 분기되어 융합 이미지의 그래디언트를 강화하였다. 마지막으로, 디코더 내 동일 계층 간의 밀집 연결 및 서로 다른 계층 간의 점프 연결을 통해 각 스케일 특징을 재구성하였다. 실험 결과, 본 연구는 시각 정보 충실도, 상호 정보, 차이 상관 계수 및 공간 주파수에서 각각 평균 23.1%, 16.3%, 18%, 39.8% 향상시켜 저조도 환경에서 융합 이미지의 품질을 효과적으로 개선하였으며 고급 시각 작업의 성능 향상에 기여하였다.

적외선 및 가시광선 이미지 융합; 다중 스케일 융합 네트워크; 저조도 강화; 교차 주의; 의미 주입