Zuverlässigkeitsadaptive geführte Fusion von Infrarot- und Sichtbildern

  • role: Corresponding author, First author通信作者, 第一作者
  • Affiliation:

    College of Transportation, Chongqing Jiaotong University, Chongqing 400074, China

  • Email:chenw@mails.cqjtu.edu
  • Introduction:王 琛(2001-),男,河南濮阳人,硕士研究生,2023年于河南工业大学获得学士学位,主要从事机器视觉及智能交通系统与安全方面的研究。E-mail: chenw@mails.cqjtu.edu
WANG Chen1*,  
  • Affiliation:

    College of Transportation, Chongqing Jiaotong University, Chongqing 400074, China

MA Qinglu1,  
  • Affiliation:

    College of Transportation, Chongqing Jiaotong University, Chongqing 400074, China

ZHOU Zhichao1,  
  • Affiliation:

    CISDI Information Technology Co., Ltd., Chongqing 401122, China

LIU Ming2

Resümee

Zur Lösung des Problems der Verschlechterung der Wahrnehmungsfähigkeit im autonomen Fahren aufgrund von Lichtveränderungen und multimodalen Störungen in komplexen Verkehrsszenarien wird ein auf Zuverlässigkeitsanpassung basierendes Fusionsnetzwerk für Infrarot- und Sichtbilder vorgeschlagen. Die Methode basiert auf einem pixelgenauen Zuverlässigkeitsmessmechanismus, der strukturelle Konsistenz und Intensitätsanomalien gemeinsam modelliert, um die Vertrauenswürdigkeit der Signalquelle dynamisch zu bewerten. Auf globaler Ebene wird eine „vertrauenswürdige Injektions“-Strategie zur Korrektur der Intensitätsverteilung angewendet, während auf Detailebene adaptive geführte Filter zur wettbewerbsfähigen Verstärkung signifikanter Ziele und Texturen eingesetzt werden, begleitet von einer kooperativen Optimierung mittels Mehrfachverlustfunktionen. Experimentelle Ergebnisse auf den Datensätzen M3FD und RoadScene zeigen im Vergleich zu gängigen Algorithmen wie DWT, GTF, U2Fusion und Umcfuse durchschnittliche Verbesserungen von 1,51 % bei der Informationsentropie, 16,56 % bei der Standardabweichung, 42,36 % bei der Raumfrequenz, 52,24 % beim mittleren Gradienten, 38,28 % bei der gegenseitigen Information, 80,51 % bei der Fusionsqualität, 21,4 % bei der Kantenschärfe und 17,6 % bei der visuellen Informationsgenauigkeit. Bei der nachgelagerten Objekterkennungsaufgabe wird eine durchschnittliche Genauigkeit von 91,4 % erreicht, was andere Fusionsmethoden übertrifft. Die Methode unterdrückt effektiv Artefakte und Rauschen, verfügt über eine hervorragende Szenarien-Generalität und Stabilität und verbessert signifikant die Umgebungswahrnehmungsgenauigkeit autonomer Fahrsysteme.

Schlüsselwort

Bildfusion; Infrarot und Sichtbar; zuverlässigkeitsadaptive Führung; multimodale strukturelle Konsistenz; vertrauenswürdige Injektion; autonome Fahrwahrnehmung

References

  1. 1.
    SHA H, SINGH M K, HAOUARI R, et al. Network-wide safety impacts of dedicated lanes for connected and autonomous vehicles[J]. Accident Analysis & Prevention, 2024, 195: 107424. doi:
  2. 2.
    REN P B, LEI H Y, DANG J W, et al. Infrared and visible image fusion based on HMSD and improved PCNN[J]. Optics and Precision Engineering, 2025, 33(9): 1481-1495. (in Chinese). doi:
  3. 3.
    HAN Y, YANG H. An image fusion algorithm based on nonsubsampled shearlet transform coupled with significant information weighting[J]. Science Technology and Engineering, 2021, 21(17): 7224-7229. (in Chinese). doi:
  4. 4.
    SUN L, TANG Q, LIAO Y P, et al. Multi-scale enhancement and color depth codec correction of flotation foam low illumination images[J]. Optics and Precision Engineering, 2025, 33(10): 1609-1626. (in Chinese). doi:
  5. 5.
    LI Y CH, ZHAO ZH H, WANG Q, et al. Polarization spectral image fusion method for hybrid backgrounds of ground objects[J]. Chinese Optics, 2024, 17(5): 1098-1111. (in Chinese). doi:
  6. 6.
    LYU F, LIU X Y, CHEN L, et al. Low-amplitude structure recognition method based on non-subsampled contourlet transform[J]. Petroleum Science, 2024, 21(5): 3062-3078. doi:
  7. 7.
    ZHANG Y X, LIAN B W, GU N T, et al. Infrared and visible image fusion based on multi-scale spatial attention complementary[J]. Optics and Precision Engineering, 2025, 33(7): 1152-1168. (in Chinese). doi:
  8. 8.
    XIAN R H, XIONG X, PENG H, et al. Feature fusion method based on spiking neural convolutional network for edge detection[J]. Pattern Recognition, 2024, 147: 110112. doi:
  9. 9.
    ZHAO Y Y, ZHENG Q C, ZHU P H, et al. TUFusion: a transformer-based universal fusion algorithm for multimodal images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(3): 1712-1725. doi:
  10. 10.
    PENG S R, ZHU X Y, DENG H Y, et al. FusionMamba: efficient remote sensing image fusion with state space model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 5410216. doi:
  11. 11.
    DI J, WANG H R, LIANG CH, et al. Conditional diffusion and multi-channel high-low frequency parallel fusion of infrared and visible light images[J]. Optics and Precision Engineering, 2025, 33(1): 148-163. (in Chinese). doi:
  12. 12.
    YANG Y CH, LI J L, LI Y, et al. Multiscale semantic injective fusion of nighttime infrared and visible[J]. Optics and Precision Engineering, 2025, 33(2): 282-297. (in Chinese). doi:
  13. 13.
    SHI Y, LIU Y, CHENG J, et al. VDMUFusion: a versatile diffusion model-based unsupervised framework for image fusion[J]. IEEE Transactions on Image Processing, 2025, 34: 441-454. doi:
  14. 14.
    TANG L F, XIANG X Y, ZHANG H, et al. DIVFusion: Darkness-free infrared and visible image fusion[J]. Information Fusion, 2023, 91: 477-493. doi:
  15. 15.
    YAO R, WANG K, GUO H F, et al. Infrared and visible image fusion based on cross-modal feature interaction and multi-scale reconstruction[J]. Infrared and Laser Engineering, 2025, 54(8): 20250210. (in Chinese)
  16. 16.
    ZHANG X D, ZHANG D W, LI Y Y, et al. Mask-guided two-stage infrared and visible image fusion network[J]. Acta Optica Sinica, 2025, 45(15): 1510007. (in Chinese)
  17. 17.
    ZHAO Y, YANG W G, GAO C Y. Infrared and visible image fusion based on global dual-group attention[J]. Chinese Journal of Liquid Crystals and Displays, 2025, 40(12): 1840-1852. (in Chinese)
  18. 18.
    LI B, YE M, XIE ZH F, et al. Adaptive illumination-based natural low-light image enhancement method for transmission lines[J]. Acta Optica Sinica, 2025, 45(23): 2310001. (in Chinese)
  19. 19.
    MA J Y, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31(C): 100-109. doi:
  20. 20.
    XU H, MA J Y, JIANG J J, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. doi:
  21. 21.
    LI X L, LI X S, TAN T S, et al. UMCFuse: a unified multiple complex scenes infrared and visible image fusion framework[J]. IEEE Transactions on Image Processing, 2025, 34: 6231-6245. doi:

Lesen Sie die ganze Passage

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website