가시광선 및 적외선 이미지 매칭 알고리즘에서 서로 다른 영상 체계로 인해 주요점 불일치 문제가 발생하는데, 이에 대응하기 위해 정책 그래디언트와 의사 쌍둥이 네트워크 기반의 이종 이미지 매칭 알고리즘 PCMM-Net을 제안한다. 이 알고리즘은 주요점 검출기와 디스크립터 추출기로 구성된다. 먼저, 정책 그래디언트 방법을 도입하여 모델의 주요점 검출기를 최적화하고, 픽셀을 정규화 확률로 변환하여 저질감 영역을 필터링하여 신뢰할 수 있고 반복 가능한 주요점을 학습하도록 한다. 다음으로, 가시광선과 적외선 이미지의 복사 차이에 적응하기 위해 의사 쌍둥이 네트워크를 사용하여 지역 이미지 블록의 유사 특징을 추출한다. 마지막으로, 융합 층을 사용하여 유사 특징과 주요점 검출기에서 나온 특징을 융합하여 이종 이미지 매칭에 적합한 디스크립터를 생성한다. 제안된 알고리즘은 VEDAI 근적외선 데이터셋과 MTV 열적외선 데이터셋에서 매칭 성능을 검증하였으며, 실험 결과 제안된 알고리즘은 VEDAI와 MTV 데이터셋에서 각각 평균 매칭 정확도 97.77%와 95.88%를 나타내었으며, DALF 알고리즘에 비해 VEDAI와 MTV 데이터에서 각각 2.26%와 14%의 정확도 향상을 보였다.

가시광선 및 적외선 이미지;이종 이미지 매칭;딥러닝;합성곱 신경망