단일 초점 이미지가 동시에 장면의 완전한 정보를 제공할 수 없는 문제를 해결하기 위해 본 논문에서는 이미지 융합의 정확도와 실용성을 향상시키기 위한 엔드 투 엔드 다중 초점 이미지 융합 알고리즘을 제안한다. 인코딩 단계에서는 밀집 컨볼루션 CNN과 Transformer 병렬 구조를 결합한 인코더를 구축하여 이미지의 고주파 및 저주파 특성을 효율적으로 추출하고, 공간 주의 메커니즘을 도입하여 특성 표현 능력을 강화한다. 융합 단계에서는 의미론적 사전 정보를 기반으로 한 교차 융합 전략을 설계하여 저주파 정보의 지도를 받아 고주파 세부 정보를 정확하게 삽입함으로써 기존 방법에서 발생하는 원거리/근거리 초점 간 편향 문제를 효과적으로 완화하고, 융합 이미지의 대비 및 세부 정보 보존 능력을 크게 향상시킨다. 최신 연구 방법 및 Lytro, COCO, MFFW 데이터셋에서 7가지 최첨단 이미지 융합 알고리즘과 비교한 결과, 제안된 방법은 EN, PSNR, SSIM, MI, AG 및 SF 지표에서 각각 2.7%, 13.6%, 7.9%, 6.5%, 1.6%, 3.7%의 유의미한 향상을 달성하였다. 또한 하위 칩 핀 인식 및 칩 중심 위치 결정 작업에서 성능 향상을 달성하여 알고리즘의 실용성과 범용성을 검증하였다. 본 논문의 방법은 융합 품질과 하위 작업 효과 면에서 모두 우수한 성능을 보이며, 실제 검사 작업에서 다중 초점 이미지 융합의 신속성과 정확성 요구를 충족하는 우수한 응용 가능성을 지닌다.

다중 초점 이미지 융합;Transformer;멀티헤드 어텐션 메커니즘;칩 인식;칩 검사