저조도 조건에서 조명을 무시하여 발생하는 적외선과 가시광 이미지 융합 시 텍스처 세부 정보의 불명확성과 시각적 인지 저하 문제를 해결하기 위해 본 논문은 저조도 향상 및 의미 주입 기반 다중 스케일 적외선 및 가시광 이미지 융합 방법을 제안한다. 먼저, 잔차 모델을 반복적으로 적용하여 야간 환경에서 가시광 이미지를 향상시키는 저조도 향상에 적합한 네트워크를 설계하였다. 그 다음, 네스트(Nest) 구조 기반 특징 추출기를 인코더와 디코더로 사용하였으며, 심층 특징이 이미지의 복잡한 구조와 의미 정보를 포착할 수 있도록 설계되었다. 의미 우선 학습 모듈을 설계하여 교차 주의를 통해 심층 적외선 및 가시광 이미지의 의미 정보를 추가로 추출하고, 의미 주입 유닛을 사용하여 향상된 특징을 각 스케일에 단계적으로 주입하였다. 둘째, 주요 특징은 혼합 주의를 거친 후 소벨 연산자 흐름과 라플라시안 연산자 흐름으로 분기되는 경사도 향상 분기를 설계하여 융합 이미지의 경사를 강화하였다. 마지막으로 디코더 내 동일 층 내 밀집 연결과 층 간 점프 연결을 통해 각 스케일 특징을 재구성하였다. 실험 결과 본 논문은 시각 정보 충실도, 상호 정보, 차이 상관 계수 및 공간 주파수에서 9가지 대비 방법 대비 각각 평균 23.1%, 16.3%, 18%, 39.8% 향상시켜 저조도 환경에서 융합 이미지의 품질을 효과적으로 개선하고 고급 시각 작업 성능 향상에 기여함을 보였다.

적외선 및 가시광 이미지 융합;다중 스케일 융합 네트워크;저조도 향상;교차 주의;의미 주입