KL-注意力を融合したConvNeXtによる衛星-ドローン画像マッチング手法

CHENG Long ,  

YANG Ruiguang ,  

JING Xin ,  

LI Xiaohong ,  

SUN Wei ,  

摘要

衛星画像とドローン画像間のスケール、視点およびモダリティの大きな違いによるマッチング課題に対して,本論文ではKLダイバージェンス相互学習機構と三重注意モジュールを融合したConvNeXtベースのエンドツーエンドクロスモーダルマッチング手法を提案する.本手法はConvNeXtをバックボーンとし,空間・チャネル・方向の三重注意を導入してスケールや回転などの幾何変形への頑健性を向上させるとともに,方向性構造のモデリング能力を強化する.さらに,KLダイバージェンスによって異なるモダリティの枝を相互学習させ,衛星画像とドローン画像の特徴分布を効果的に整合させ,視点差異によるモーダルシフトを緩和する.University-1652において,本手法は双方向検索で高精度を達成しており,Drone→SatelliteではR@1/APが89.40%/90.98%,Satellite→Droneでは93.44%/89.33%である.ConvNeXt-Tinyと比較して,R@1/APはそれぞれ2.21%/1.80%(Drone→Satellite),2.19%/2.73%(Satellite→Drone)向上し,最近の代表的手法(TransFG,GeoFormer)に対してもわずかな優位性を示し,近年の一部アルゴリズムと比較しても競争力がある.アブレーションでは,三重注意とKL相互学習がそれぞれR@1を4.13%,3.55%向上させることを示す.効率面では,統一プロトコル下で単一GPU推論(bs=1)の遅延は20.83ms,ピークGPUメモリ使用量は0.53GBである.同一画像内多対象設定において,K=5のときV-Rate@5は97.7%を記録した.総じて,本手法はリアルタイム性を確保しつつ,クロスモーダル検索精度と幾何学的頑健性を大幅に向上させ,工学的に実用可能であり,同一画像内多対象シナリオにおいて妨害候補を効果的に抑制し,ドローンのビジュアルナビゲーションや地理的定位などの応用に適している.

关键词

衛星ドローン画像マッチング;クロスモーダルマッチング;ConvNeXt;三重注意;KLダイバージェンス;視覚的地理的位置特定

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website