이미지 융합은 서로 다른 모달리티 이미지의 일관되고 보완적인 특징을 통합하여 단일 모달리티 이미지의 세부 정보 부족 문제를 효과적으로 보완할 수 있다. 기존 방법에서 특징 추출과 융합이 독립적으로 이루어지고 조명 정보 활용이 부족하며 복잡한 조명 환경에서 융합 효과가 좋지 않은 문제를 해결하기 위해, 본 논문에서는 조명 가중치 분배 메커니즘에 의해 유도되는 이중 스트림 계층별 상호 작용 적외선 및 가시광선 이미지 융합 네트워크를 제안한다. 해당 네트워크는 계층별 상호 작용 전략을 채택하여 특징 추출과 교차 모달 융합을 번갈아 수행한다. 조명 사전 분류 네트워크를 통해 전역 조명 정보를 이중 스트림 네트워크에 임베딩하여 조명 불균형 영향을 완화한다. 특징 추출 단계에서는 단계적 확장 전략과 경량 전역 컨텍스트 정보 블록을 통합하여 다중 스케일 장거리 의미 연관을 구현한다. 동시에 차분 특징과 병렬 이중 주의 메커니즘을 활용하여 모달 보완 정보 선별 및 강화하고 조명에 따라 융합 가중치를 동적으로 조절하여 단일 모달 주도 현상을 방지한다. 실험 결과, 해당 방법은 다중 데이터셋에서 주류 방법보다 우수한 지표를 보였으며 MSRS 데이터셋에서는 MI 및 Q_AB/F 지수가 차선 알고리즘 대비 각각 3.76%, 7.86% 향상되었다. 약광, 짙은 안개 등 복잡한 조명 환경에서 목표 윤곽 및 세부 보존 효과가 우수하였다. 이는 본 연구 방법이 저수준 공간 정보와 고수준 의미 정보를 효과적으로 균형 맞추고 복잡한 조명 환경에서 이미지 융합의 정확도 및 시각적 효과를 현저히 향상함을 나타낸다.

이미지 융합; 조명 가중치; 특징 상호 작용; 다중 스케일; 차분 정보