Correspondência de imagens visíveis e infravermelhas baseada em CycleGAN-SIFT

HAO Shuai ,  

WU Yingqi ,  

MA Xu ,  

HE Tian ,  

WEN Hu ,  

WANG Feng ,  

摘要

Devido aos diferentes mecanismos de formação de imagens infravermelhas e visíveis, os algoritmos tradicionais de correspondência apresentam baixa precisão e baixa robustez. Propõe-se um algoritmo de correspondência de imagens visíveis e infravermelhas baseado em CycleGAN-SIFT. Para reduzir o impacto das diferenças características entre imagens visíveis e infravermelhas nos resultados da correspondência, utiliza-se o aprendizado por transferência compartilhando pesos para gerar imagens falsas de infravermelho com CycleGAN a partir de imagens visíveis e infravermelhas, extraindo pontos característicos das imagens falsas e reais usando o algoritmo SIFT para correspondência. Para diminuir a taxa de correspondência incorreta, utiliza-se o RANSAC para eliminar pares de pontos mal correspondidos. Por fim, os pontos característicos da imagem infravermelha falsa são mapeados para a imagem visível, realizando a correspondência entre imagens visíveis e infravermelhas. Para validar a eficácia do algoritmo proposto, foram selecionados 4 conjuntos de imagens heterogêneas dos conjuntos de dados OTCBVS e TNO Image Fusion Dataset, e comparados com quatro algoritmos clássicos SIFT, Canny-SIFT, SURF e CMM-Net sob três condições: sem ruído, com ruído e com distorção angular. Os resultados experimentais mostram que, sem considerar distorção angular e interferência de ruído, a taxa correta de correspondência do algoritmo proposto alcança mais de 95 %; quando há distorção angular e interferência de ruído, a taxa de correspondência correta ainda permanece acima de 95 %, apresentando alta precisão e robustez.

关键词

correspondência de imagens; imagens heterogêneas; rede adversarial generativa cíclica; características invariantes à escala; algoritmo de consenso de amostragem aleatória

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website