기존 적외선 및 가시광선 이미지 융합 작업에 대한 개방형 텍스트 지시 기반 융합 요구에 대응하여, 본 논문에서는 학습 가능한 주파수대역 분해 및 텍스트 유도 게이트를 기반으로 하는 적외선-가시광선 이미지 융합 프레임워크를 제안한다. 대조 언어-이미지 사전학습 모델(CLIP)과 텍스트 프롬프트 기반 범용 분할 모델(Grounded Segment Anything Model, Grounded SAM)을 통해 텍스트-이미지 정렬 모듈을 협력적으로 구축하여 텍스트 의미 사전 정보와 이미지 국부 영역을 정확히 연관시키고, 이중 모달 특징 추출을 위해 전용 학습 가능 주파수대역 분해 모듈을 설계하여 전체 구조를 표현하는 저주파 기저와 섬세한 질감을 묘사하는 고주파 세부를 적응적으로 분리한다. 이후 텍스트 인식 게이트 융합 모듈을 설계하여 적외선 및 가시광선 모달의 특징 기여 가중치를 공간적으로 적응 조절하며, 그래디언트 보존, 게이트 맵 정규화 손실 등 핵심 제약 항목을 포함하는 다중 제약 손실 함수를 구성하여 융합 결과의 구조적 완전성과 텍스트 의미 일관성을 명시적으로 보장한다. 실험 결과, LLVIP 데이터셋에서 본 논문 네트워크는 Textfusion 대비 경계 보존 향상 지표(Qabf+)와 구조 유사성 향상 지표(SSIM+)에서 각각 0.0705와 0.0364 향상되었고, 상호 정보량(MI)과 최고 신호 대 잡음비(PSNR)에서 각각 1.5164와 1.7566 dB 향상되었으며, 객체 탐지 과제에서 교차비 임계값 0.5~0.95 범위 내 평균 정밀도(mAP@50-95)는 0.9% 증가하였다. 실제 융합 과정에서 텍스트는 이미지 융합 생성 과정을 효과적으로 유도하며, 기본적으로 의미론적 제어가 가능한 이미지 융합 목표를 달성한다.

이미지 융합;텍스트 유도;적외선 이미지;가시광선 이미지;주파수대역 분해