적외선 이미지와 가시광선 이미지 융합 시 심각한 세부 정보 손실 문제, 적외선 이미지의 특징 정보가 두드러지지 않는 문제 및 원본 이미지의 의미 정보가 무시되는 문제를 해결하기 위해 2차 이미지 분해 기반의 적외선 및 가시광선 이미지 융합 네트워크(Secondary Image Decomposition For Infrared And Visible Image Fusion, SIDFuse)를 제안한다. 인코더를 이용해 원본 이미지를 2차 분해하여 서로 다른 스케일의 특징 정보를 추출하고, 이중 요소 주의 메커니즘을 통해 서로 다른 스케일의 특징 정보에 가중치를 할당하며, 전역 의미 브랜치를 도입한다. 이후 픽셀 덧셈 방식을 융합 전략으로 사용하고, 마지막으로 디코더를 통해 융합 이미지를 재구성한다. 실험에서는 FLIR 데이터셋을 학습에 사용하고, TNO 및 RoadScene 두 가지 데이터셋으로 테스트했으며, 8가지 객관적 이미지 융합 평가 지표를 사용해 비교 분석을 수행했다. TNO 데이터셋에서의 실험 결과, 정보 엔트로피, 표준 편차, 공간 주파수, 시각적 충실도, 평균 기울기, 차이 상관 계수, 다중 계층 구조 유사성 및 기울기 융합 성능 평가 지표에서 SIDFuse는 컨볼루션 네트워크 기반의 고전적 융합 알고리즘 DenseFuse보다 각각 평균 12.2%, 9.0%, 90.2%, 13.9%, 85.1%, 16.8%, 6.7%, 30.7% 향상되었고, 최신 융합 네트워크 LRRNet보다 각각 평균 2.5%, 5.6%, 31.5%, 5.4%, 25.2%, 17.9%, 7.5%, 20.7% 향상되었다. 본 논문에서 제시한 알고리즘은 융합된 이미지의 대비가 높으며, 가시광선 이미지의 세부 질감과 적외선 이미지의 특징 정보를 보다 효과적으로 보존함으로써 유사한 방법 중에서 뚜렷한 우위를 가진다.

이미지 융합;2차 이미지 분해;전역 의미 브랜치;이중 요소 주의;이미지 대비