적외선 이미지와 가시광선 이미지는 촬영 메커니즘이 달라 기존 매칭 알고리즘의 매칭 정확도가 낮고 강건성이 떨어지는 문제를 해결하기 위해 CycleGAN-SIFT 기반의 가시광선 및 적외선 이미지 매칭 알고리즘을 제안한다. 가시광선 이미지와 적외선 이미지 간의 특징 차이가 매칭 결과에 미치는 영향을 줄이기 위해 전이 학습을 통한 가중치 공유 방식으로 CycleGAN을 이용해 가시광선 이미지와 적외선 이미지를 기반으로 의사 적외선 이미지를 생성하고, SIFT 특징 추출 알고리즘을 이용해 각각 의사 적외선 이미지와 적외선 이미지의 특징점을 추출하여 매칭한다. 잘못된 매칭률을 낮추기 위해 RANSAC을 이용해 오매칭 점쌍을 제거한다. 마지막으로 의사 적외선 이미지의 특징점을 가시광선 이미지에 매핑하여 가시광선 이미지와 적외선 이미지의 매칭을 실현한다. 제안한 알고리즘의 유효성을 검증하기 위해 OTCBVS와 TNO Image Fusion Dataset 데이터셋에서 임의로 4쌍의 이종 영상 데이터를 선택하고, 무노이즈, 노이즈 존재, 각도 왜곡 3가지 조건에서 SIFT, Canny-SIFT, SURF 및 CMM-Net 4가지 고전 알고리즘과 비교하였다. 실험 결과 각도 왜곡과 노이즈 간섭을 고려하지 않을 때 제안 알고리즘의 매칭 정확도는 95% 이상에 달하며, 각도 왜곡과 노이즈 간섭이 있을 때에도 매칭 정확도는 여전히 95% 이상으로 높은 매칭 정밀도와 강건성을 가진다.

영상 매칭; 이종 영상; 사이클 GAN; 스케일 불변 특징; 랜덤 샘플 합의 알고리즘