Método de correspondência de imagens de satélite e drone integrado com KL e atenção no ConvNeXt

CHENG Long ,  

YANG Ruiguang ,  

JING Xin ,  

LI Xiaohong ,  

SUN Wei ,  

摘要

Para enfrentar os desafios de correspondência causados por diferenças significativas em escala, perspectiva e modalidade entre imagens de satélite e drones, este artigo propõe um método de correspondência cruzada de modalidade de ponta a ponta baseado em ConvNeXt, que integra um mecanismo de aprendizado mútuo com divergência KL e um módulo de atenção tripla. O método utiliza o ConvNeXt como rede backbone e introduz atenção tripla espacial-canal-direção para melhorar a robustez contra deformações geométricas como escala e rotação, além de fortalecer a capacidade de modelagem de estruturas direcionais. Além disso, a divergência KL orienta o aprendizado mútuo entre ramos de modalidades diferentes, alinhando efetivamente a distribuição das características das imagens de satélite e drones, mitigando o desvio modal causado pela diferença de perspectiva. No University-1652, o método alcança alta precisão na recuperação bidirecional: R@1/AP de 89,40%/90,98% de Drone→Satélite e 93,44%/89,33% de Satélite→Drone. Em comparação com o ConvNeXt-Tiny, o R@1/AP aumentou 2,21%/1,80% (Drone→Satélite) e 2,19%/2,73% (Satélite→Drone), respectivamente; também demonstra uma leve vantagem sobre métodos recentes representativos (TransFG, GeoFormer) e continua competitivo em relação a alguns algoritmos recentes. As ablações mostram que a atenção tripla e o aprendizado mútuo KL trazem ganhos de R@1 de 4,13% e 3,55%, respectivamente. Em termos de eficiência, sob um protocolo unificado, a latência de inferência com uma única placa (bs=1) é de 20,83 ms, com pico de memória de vídeo de 0,53 GB; em configuração multi-alvo na mesma imagem, com K=5, o V-Rate@5 é 97,7%. Em resumo, o método melhora significativamente a precisão da recuperação cruzada de modalidade e a robustez geométrica garantindo tempo real, é viável para implantação em engenharia e pode suprimir eficazmente interferências em cenários multi-alvo na mesma imagem, sendo aplicável para navegação visual de drones e localização geográfica.

关键词

correspondência de imagens de satélite e drone;correspondência cross-modal;ConvNeXt;atenção tripla;divergência KL;localização geográfica visual

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website