Em algoritmos de correspondência entre imagens visíveis e infravermelhas, existe o problema de não correspondência de pontos-chave devido a diferentes sistemas de formação de imagem. Propõe-se um algoritmo de correspondência de imagens heterogêneas PCMM-Net baseado em gradiente de política e rede pseudo-gêmea. O algoritmo é composto por um detector de pontos-chave e um extrator de descritores. Primeiro, o método de gradiente de política é introduzido para otimizar o detector de pontos-chave do modelo, convertendo pixels em probabilidades normalizadas para filtrar áreas de baixa textura, permitindo que a rede aprenda pontos-chave confiáveis e repetíveis; em seguida, para se adaptar às diferenças radiativas entre imagens visíveis e infravermelhas, é usada uma rede pseudo-gêmea para extrair características semelhantes de blocos locais da imagem; finalmente, uma camada de fusão é usada para combinar características semelhantes e as do detector de pontos-chave, gerando descritores adaptados à correspondência de imagens heterogêneas. O desempenho do algoritmo proposto foi validado nos conjuntos de dados VEDAI de infravermelho próximo e MTV de infravermelho térmico, e os resultados experimentais mostraram uma precisão média de correspondência de 97,77% e 95,88%, respectivamente, com um aumento de 2,26% e 14% em relação ao algoritmo DALF.

imagens visíveis e infravermelhas;correspondência de imagens heterogêneas;aprendizado profundo;redes neurais convolucionais