Fusão de imagens infravermelhas e visíveis com orientação adaptativa de confiabilidade

  • role: Corresponding author, First author通信作者, 第一作者
  • Affiliation:

    College of Transportation, Chongqing Jiaotong University, Chongqing 400074, China

  • Email:chenw@mails.cqjtu.edu
  • Introduction:王 琛(2001-),男,河南濮阳人,硕士研究生,2023年于河南工业大学获得学士学位,主要从事机器视觉及智能交通系统与安全方面的研究。E-mail: chenw@mails.cqjtu.edu
WANG Chen1*,  
  • Affiliation:

    College of Transportation, Chongqing Jiaotong University, Chongqing 400074, China

MA Qinglu1,  
  • Affiliation:

    College of Transportation, Chongqing Jiaotong University, Chongqing 400074, China

ZHOU Zhichao1,  
  • Affiliation:

    CISDI Information Technology Co., Ltd., Chongqing 401122, China

LIU Ming2

Resumo

Para abordar o problema da degradação da capacidade de percepção em condução autônoma causada por variações de iluminação e interferências multimodais em cenários de tráfego complexos, propõe-se uma rede de fusão de imagens infravermelhas e visíveis baseada em orientação adaptativa de confiabilidade. Esse método constrói um mecanismo de medição de confiabilidade em nível de pixel, modelando conjuntamente a consistência estrutural e anomalias de intensidade para avaliar dinamicamente a credibilidade da fonte de sinal. Em nível global, utiliza-se a estratégia de "injeção confiável" para corrigir a distribuição de intensidade, enquanto no nível de detalhes emprega-se filtragem guiada adaptativa para o reforço competitivo de alvos proeminentes e texturas, combinada com funções de perda multi-restrição para otimização colaborativa. Resultados experimentais nos conjuntos de dados M3FD e RoadScene indicam que, em comparação com algoritmos convencionais como DWT, GTF, U2Fusion e Umcfuse, o método melhora em média a entropia da informação em 1,51%, o desvio padrão em 16,56%, a frequência espacial em 42,36%, o gradiente médio em 52,24%, a informação mútua em 38,28%, a qualidade da fusão em 80,51%, a intensidade das bordas em 21,4% e a fidelidade da informação visual em 17,6%. Na tarefa de detecção de objetos downstream, a precisão média alcança 91,4%, superando outros métodos de fusão. O método suprime efetivamente artefatos e ruído, possui excelente generalização e estabilidade em cenários, e melhora significativamente a precisão da percepção ambiental dos sistemas de condução autônoma.

Palavras-chave

fusão de imagens; infravermelho e visível; orientação adaptativa de confiabilidade; consistência estrutural multimodal; injeção confiável; percepção em condução autônoma

References

  1. 1.
    SHA H, SINGH M K, HAOUARI R, et al. Network-wide safety impacts of dedicated lanes for connected and autonomous vehicles[J]. Accident Analysis & Prevention, 2024, 195: 107424. doi:
  2. 2.
    REN P B, LEI H Y, DANG J W, et al. Infrared and visible image fusion based on HMSD and improved PCNN[J]. Optics and Precision Engineering, 2025, 33(9): 1481-1495. (in Chinese). doi:
  3. 3.
    HAN Y, YANG H. An image fusion algorithm based on nonsubsampled shearlet transform coupled with significant information weighting[J]. Science Technology and Engineering, 2021, 21(17): 7224-7229. (in Chinese). doi:
  4. 4.
    SUN L, TANG Q, LIAO Y P, et al. Multi-scale enhancement and color depth codec correction of flotation foam low illumination images[J]. Optics and Precision Engineering, 2025, 33(10): 1609-1626. (in Chinese). doi:
  5. 5.
    LI Y CH, ZHAO ZH H, WANG Q, et al. Polarization spectral image fusion method for hybrid backgrounds of ground objects[J]. Chinese Optics, 2024, 17(5): 1098-1111. (in Chinese). doi:
  6. 6.
    LYU F, LIU X Y, CHEN L, et al. Low-amplitude structure recognition method based on non-subsampled contourlet transform[J]. Petroleum Science, 2024, 21(5): 3062-3078. doi:
  7. 7.
    ZHANG Y X, LIAN B W, GU N T, et al. Infrared and visible image fusion based on multi-scale spatial attention complementary[J]. Optics and Precision Engineering, 2025, 33(7): 1152-1168. (in Chinese). doi:
  8. 8.
    XIAN R H, XIONG X, PENG H, et al. Feature fusion method based on spiking neural convolutional network for edge detection[J]. Pattern Recognition, 2024, 147: 110112. doi:
  9. 9.
    ZHAO Y Y, ZHENG Q C, ZHU P H, et al. TUFusion: a transformer-based universal fusion algorithm for multimodal images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(3): 1712-1725. doi:
  10. 10.
    PENG S R, ZHU X Y, DENG H Y, et al. FusionMamba: efficient remote sensing image fusion with state space model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 5410216. doi:
  11. 11.
    DI J, WANG H R, LIANG CH, et al. Conditional diffusion and multi-channel high-low frequency parallel fusion of infrared and visible light images[J]. Optics and Precision Engineering, 2025, 33(1): 148-163. (in Chinese). doi:
  12. 12.
    YANG Y CH, LI J L, LI Y, et al. Multiscale semantic injective fusion of nighttime infrared and visible[J]. Optics and Precision Engineering, 2025, 33(2): 282-297. (in Chinese). doi:
  13. 13.
    SHI Y, LIU Y, CHENG J, et al. VDMUFusion: a versatile diffusion model-based unsupervised framework for image fusion[J]. IEEE Transactions on Image Processing, 2025, 34: 441-454. doi:
  14. 14.
    TANG L F, XIANG X Y, ZHANG H, et al. DIVFusion: Darkness-free infrared and visible image fusion[J]. Information Fusion, 2023, 91: 477-493. doi:
  15. 15.
    YAO R, WANG K, GUO H F, et al. Infrared and visible image fusion based on cross-modal feature interaction and multi-scale reconstruction[J]. Infrared and Laser Engineering, 2025, 54(8): 20250210. (in Chinese)
  16. 16.
    ZHANG X D, ZHANG D W, LI Y Y, et al. Mask-guided two-stage infrared and visible image fusion network[J]. Acta Optica Sinica, 2025, 45(15): 1510007. (in Chinese)
  17. 17.
    ZHAO Y, YANG W G, GAO C Y. Infrared and visible image fusion based on global dual-group attention[J]. Chinese Journal of Liquid Crystals and Displays, 2025, 40(12): 1840-1852. (in Chinese)
  18. 18.
    LI B, YE M, XIE ZH F, et al. Adaptive illumination-based natural low-light image enhancement method for transmission lines[J]. Acta Optica Sinica, 2025, 45(23): 2310001. (in Chinese)
  19. 19.
    MA J Y, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31(C): 100-109. doi:
  20. 20.
    XU H, MA J Y, JIANG J J, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. doi:
  21. 21.
    LI X L, LI X S, TAN T S, et al. UMCFuse: a unified multiple complex scenes infrared and visible image fusion framework[J]. IEEE Transactions on Image Processing, 2025, 34: 6231-6245. doi:

Leia o texto completo

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website