단일 가시광선 또는 단일 적외선 조건에서 IC 장치 표면 결함의 대비 부족 및 결함 검출 정확도 저하 문제를 해결하기 위해 다중 스펙트럼 이미지 융합 기반 IC 장치 표면 결함 검출 방법을 제안한다. IC 장치 가시광선 및 적외선 이미지 정합에서 존재하는 크기 불일치 및 대비 반전 문제를 해결하기 위해 라플라스 피라미드와 특징 기술자 재구성 전략을 도입하여 ORB(방향성 FAST 및 회전 BRIEF) 이미지 정합 알고리즘을 개선하였다. 이미지 정합을 기반으로 NSST_VP 이미지 융합 방법을 제안하며, 비하향 샘플링 쉬얼릿 변환(Non-Subsample Shearlet Transform, NSST)을 활용하여 적외선 이미지와 정합된 가시광선 이미지의 저주파 및 고주파 서브밴드를 획득한다. 저주파 서브밴드에는 시각적 중요도 맵(Visual Significance Map, VSM) 가중 융합 규칙을 적용하고, 고주파 서브밴드에는 적응형 펄스 결합 신경망(PA-Pulse Coupled Neural Network, PA-PCNN) 결정 융합 규칙을 적용하여 NSST 역변환을 통해 고품질 다중 스펙트럼 융합 이미지를 얻는다. 마지막으로 융합 이미지를 YOLOv8s 모델에 입력하여 검출을 수행한다. 실험 결과 개선된 ORB 이미지 정합의 평균 정밀도는 87.8%로 ORB 이미지 정합 대비 62% 향상되었으며, NSST_VP 이미지 융합 알고리즘은 주관적 시각 효과 및 객관적 평가 지표 모두에서 개선되었다. 결함 검출 실험에서 NSST_VP 융합 방법의 평균 정밀도(mAP)는 83.15%에 도달하였으며 단일 가시광선, 단일 적외선 결함 이미지 검출 대비 각각 22.97%, 28.31% 향상되었고, 쌍 트리 율렛 변환 융합, 곡선 변환 융합, 비하향 샘플링 윤곽 변환 융합 방법 대비 각각 13.14%, 15.01%, 20.35% 향상되었다.

결함 검출;IC 장치;다중 스펙트럼 이미지 융합;이미지 정합;비하향 샘플링 쉬얼릿 변환;YOLOv8s