KL-어텐션이 융합된 ConvNeXt 위성-드론 영상 매칭 방법

CHENG Long ,  

YANG Ruiguang ,  

JING Xin ,  

LI Xiaohong ,  

SUN Wei ,  

摘要

위성 및 드론 영상 간의 스케일, 시점 및 모달리티 차이로 인한 매칭 도전과제를 해결하기 위해, 본 논문은 KL 발산 상호 학습 메커니즘과 3중 어텐션 모듈이 융합된 ConvNeXt 기반의 엔드투엔드 교차 모달 매칭 방법을 제안한다. 본 방법은 ConvNeXt를 백본으로 활용하며, 공간-채널-방향의 3중 어텐션을 도입하여 스케일 및 회전과 같은 기하학적 변형에 대한 강인성을 향상시키고 방향성 구조 모델링 능력을 강화한다. 또한 KL 발산을 통해 서로 다른 모달리티 분기를 상호 학습하도록 유도하여 위성 영상과 드론 영상의 특징 분포를 효과적으로 정렬하고, 시점 차이로 인한 모달 편향을 완화한다. University-1652 데이터셋에서 본 방법은 양방향 검색에서 높은 정확도를 달성하였으며, Drone→Satellite에서 R@1/AP는 89.40%/90.98%, Satellite→Drone에서 93.44%/89.33%를 기록하였다. ConvNeXt-Tiny와 비교 시, R@1/AP는 각각 2.21%/1.80%(Drone→Satellite) 및 2.19%/2.73%(Satellite→Drone) 향상되었고, 최근 대표적인 방법들(TransFG, GeoFormer) 대비 소폭 우위를 보이며 최근 몇 년 간 일부 알고리즘과 비교하여도 경쟁력이 있다. 소멸 실험에서 3중 어텐션과 KL 상호 학습은 각각 4.13% 및 3.55%의 R@1 향상을 가져왔다. 효율성 측면에서 통일된 프로토콜 하 단일 카드 추론(bs=1) 지연 시간은 20.83ms이며, 최대 GPU 메모리 사용량은 0.53GB였다. 동일 영상 내 다중 대상 설정에서 K=5일 때 V-Rate@5는 97.7%다. 종합적으로, 본 방법은 실시간성을 보장하면서 교차 모달 검색 정확도와 기하학적 견고성을 크게 향상시키며, 엔지니어링 적용 가능성이 있고 동일 영상 다중 대상 상황에서 간섭 후보를 효과적으로 억제하여 드론 비전 항법 및 지리 위치파악 응용에 적합하다.

关键词

위성-드론 영상 매칭;교차 모달 매칭;ConvNeXt;3중 어텐션;KL 발산;시각 지리 위치파악

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website