Devido ao problema de que uma única imagem focada não pode apresentar simultaneamente informações completas da cena, este artigo propõe um algoritmo de fusão de imagens multifoco de ponta a ponta para melhorar a precisão e a praticidade da fusão de imagens. Na fase de codificação, constrói-se um codificador combinando uma estrutura paralela de CNN convolucional densa e Transformer para extrair de forma eficiente as características de alta e baixa frequência da imagem, introduzindo um mecanismo de atenção espacial para aprimorar a capacidade de expressão de características. Na fase de fusão, projeta-se uma estratégia de fusão cruzada baseada em um guia prévio semântico que insere com precisão detalhes de alta frequência sob a orientação das informações de baixa frequência, aliviando efetivamente o problema de viés entre foco distante/próximo dos métodos tradicionais, melhorando significativamente o contraste e a capacidade de retenção de detalhes da imagem fundida. Em comparação com os métodos de pesquisa mais recentes e sete algoritmos avançados de fusão de imagens nos conjuntos de dados Lytro, COCO e MFFW, o método proposto alcança vantagens significativas em vários indicadores, com melhorias de 2,7%, 13,6%, 7,9%, 6,5%, 1,6% e 3,7% em EN, PSNR, SSIM, MI, AG e SF, respectivamente. Além disso, foram alcançadas melhorias de desempenho nas tarefas a jusante de reconhecimento de pinos de chip e localização do centro do chip, validando a praticidade e a universalidade do algoritmo. O método deste artigo apresenta excelente desempenho tanto na qualidade da fusão quanto nos efeitos das tarefas a jusante, possuindo bom potencial de aplicação e atendendo às demandas de rapidez e precisão da fusão de imagens multifoco em tarefas práticas de detecção.

fusão de imagens multifoco;Transformer;mecanismo de atenção multi-cabeças;reconhecimento de chip;detecção de chip