Four-band coaxial imaging experimental platform and its image fusion methods

Zhihao LIU; Weiqi JIN; Li LI; Mozhou SHA; Qin GUO

doi:10.37188/OPE.20223001.0001

您当前的位置：

首页 >

文章列表页 >

Four-band coaxial imaging experimental platform and its image fusion methods

Modern Applied Optics | 更新时间：2022-02-15

- Four-band coaxial imaging experimental platform and its image fusion methods
- Optics and Precision Engineering Vol. 30, Issue 1, Pages: 1-11(2022)
- 作者机构：
  
  1.北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京 100081
  2.北京机电工程研究所，北京 100074
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223001.0001
  CLC： TN216
- Received：27 August 2021，
  
  Revised：15 October 2021，
  
  Published：15 January 2022
- 稿件说明：
移动端阅览
刘志豪,金伟其,李力等.四波段共光轴成像实验平台及其图像融合[J].光学精密工程,2022,30(01):1-11.

LIU Zhihao,JIN Weiqi,LI Li,et al.Four-band coaxial imaging experimental platform and its image fusion methods[J].Optics and Precision Engineering,2022,30(01):1-11.
刘志豪,金伟其,李力等.四波段共光轴成像实验平台及其图像融合[J].光学精密工程,2022,30(01):1-11. DOI： 10.37188/OPE.20223001.0001.

LIU Zhihao,JIN Weiqi,LI Li,et al.Four-band coaxial imaging experimental platform and its image fusion methods[J].Optics and Precision Engineering,2022,30(01):1-11. DOI： 10.37188/OPE.20223001.0001.

摘要

为获取以及充分利用场景的多波段信息，同时为多波段图像算法研究奠定基础，基于非制冷红外焦平面阵列，研制了共光轴分束的可见光+近红外、短波红外、中波红外和长波红外四波段光电成像实验平台。给出了基于四波段光电成像实验平台的图像处理案例，使用现场可编程门阵列完成各路图像的预处理与多波段图像融合。预处理过程主要包括可见光机芯盲元校正以及基于梯度域滤波的中、长波红外机芯的低频非均匀性校正，从而优化各波段的图像质量。双波段和四波段图像融合采用色彩传递的方式对YUV颜色空间中线性组合融合的图像进行色彩增强，得到更佳的自然感彩色融合图像的同时保证了算法的运行效率。使用中、长波红外进行双波段红外测温，室内黑体实验表明，在20~80 ℃内双波段测温的准确度明显高于单波段测温，双波段测温误差小于3.5%，单点温度波动幅度小于0.7%。外场实验结果表明，信息融合图像能有效增强人眼对场景信息的理解。四波段光电成像实验平台能够获得场景的四波段信息，经过图像融合与双波段测温加强了对场景信息的理解。

Abstract

To obtain and make full use of the multi-spectrum information of the scene， and to lay the foundation for the research of multi-band image algorithms， a four-band coaxial imaging experimental platform of visible light + near infrared， short wave infrared， mid-wave infrared and long-wave infrared was developed based on uncooled infrared focal plane array （IRFPA）. Image processing cases based on the four-band imaging experimental platform were presented. FPGA was used in the preprocessing of each channel of image and the fusion of multi-band image. The image quality of each band was optimized by the preprocessing procedure， that included the blind point correction of the visible sensor and nonuniformity correction of the mid-wave and long-wave infrared sensors based on grad-filtering. Dual-band and four-band image fusion enhanced the color of the fusion image obtained by linear combination in the YUV color space by color transfer， thus resulting in a natural color fusion image as well as ensuring the operating efficiency of the algorithm. Dual-band infrared temperature measurement was performed using medium and long-wave infrared. The blackbody experiment shows that in the temperature range of 20-80 ℃， the accuracy of dual-band temperature measurement is significantly higher than that of single-band temperature measurement， the error of dual-band temperature measurement is less than 3.5%， and the single-point temperature fluctuation range is less than 0.7%. The outfield experiment results show that information fusion images can effectively enhance the human eye’s understanding of scene information. The four-band imaging experimental platform can easily obtain the four-band information of the scene， and image fusion and dual-band temperature measurement can strengthen the understanding of scene information.

关键词

Keywords

references

许洪，王向军 . 多光谱、超光谱成像技术在军事上的应用［J］. 红外与激光工程， 2007 ， 36 （ 1 ）： 13 - 17 . doi: 10.3969/j.issn.1007-2276.2007.01.004 http://dx.doi.org/10.3969/j.issn.1007-2276.2007.01.004

XU H ， WANG X J . Applications of multispectral/hyperspectral imaging technologies in military ［J］. Infrared and Laser Engineering ， 2007 ， 36 （ 1 ）： 13 - 17 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2007.01.004 http://dx.doi.org/10.3969/j.issn.1007-2276.2007.01.004

戴立群，唐绍凡，徐丽娜，等 . 从可见光到热红外全谱段探测的星载多光谱成像仪器技术发展概述［J］. 红外技术， 2019 ， 41 （ 2 ）： 107 - 117 .

DAI L Q ， TANG SH F ， XU L N ， et al . Development overview of space-borne multi-spectral imager with band range from visible to thermal infrared ［J］. Infrared Technology ， 2019 ， 41 （ 2 ）： 107 - 117 . （in Chinese）

李静，宋广，董珊，等 . 非制冷红外焦平面探测器研究进展与趋势［J］. 红外， 2020 ， 41 （ 10 ）： 1 - 14， 24 . doi: 10.3969/j.issn.1672-8785.2020.10.001 http://dx.doi.org/10.3969/j.issn.1672-8785.2020.10.001

LI J ， SONG G ， DONG SH ， et al . Research progress and trend of uncooled infrared focal plane detectors ［J］. Infrared ， 2020 ， 41 （ 10 ）： 1 - 14， 24 . （in Chinese） . doi: 10.3969/j.issn.1672-8785.2020.10.001 http://dx.doi.org/10.3969/j.issn.1672-8785.2020.10.001

汪良衡，李云涛，雷华伟，等 . InAs/GaSb超晶格长波红外探测器［J］. 红外技术， 2018 ， 40 （ 5 ）： 473 - 476 .

WANG L H ， LI Y T ， LEI H W ， et al . Long-wavelength super lattice infrared detectors based on InAs/GaSb ［J］. Infrared Technology ， 2018 ， 40 （ 5 ）： 473 - 476 . （in Chinese）

李雪，邵秀梅，李淘，等 . 短波红外InGaAs焦平面探测器研究进展［J］. 红外与激光工程， 2020 ， 49 （ 1 ）： 64 - 71 .

LI X ， SHAO X M ， LI T ， et al . Developments of short-wave infrared InGaAs focal plane detectors ［J］. Infrared and Laser Engineering ， 2020 ， 49 （ 1 ）： 64 - 71 . （in Chinese）

骆媛，王岭雪，金伟其，等 . 微光（可见光）/红外彩色夜视技术处理算法及系统进展［J］. 红外技术， 2010 ， 32 （ 6 ）： 337 - 344 . doi: 10.3969/j.issn.1001-8891.2010.06.007 http://dx.doi.org/10.3969/j.issn.1001-8891.2010.06.007

LUO Y ， WANG L X ， JIN W Q ， et al . Developments of image processing algorithms and systems for LLL（vis.）/IR color night vision ［J］. Infrared Technology ， 2010 ， 32 （ 6 ）： 337 - 344 . （in Chinese） . doi: 10.3969/j.issn.1001-8891.2010.06.007 http://dx.doi.org/10.3969/j.issn.1001-8891.2010.06.007

张洪伟，丁亚林，马迎军，等 . 红外双波段双视场成像告警系统设计［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1283 - 1294 . doi: 10.3788/ope.20202806.1283 http://dx.doi.org/10.3788/ope.20202806.1283

ZHANG H W ， DING Y L ， MA Y J ， et al . Design of infrared dual-band/dual-FOV imaging early warning system ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1283 - 1294 . （in Chinese） . doi: 10.3788/ope.20202806.1283 http://dx.doi.org/10.3788/ope.20202806.1283

史世明，王岭雪，金伟其，等 . 基于YUV空间色彩传递的可见光/热成像双通道彩色成像系统［J］. 兵工学报， 2009 ， 30 （ 1 ）： 30 - 35 . doi: 10.3321/j.issn:1000-1093.2009.01.007 http://dx.doi.org/10.3321/j.issn:1000-1093.2009.01.007

SHI SH M ， WANG L X ， JIN W Q ， et al . A dual-band color imaging system for visible and thermal IR images based on color transfer in YUV color space ［J］. Acta Armamentarii ， 2009 ， 30 （ 1 ）： 30 - 35 . （in Chinese） . doi: 10.3321/j.issn:1000-1093.2009.01.007 http://dx.doi.org/10.3321/j.issn:1000-1093.2009.01.007

骆媛，金伟其，刘效东 . 基于颜色查找空间的自然感彩色融合算法及DSP实时实现［J］. 红外与激光工程， 2012 ， 41 （ 8 ）： 2241 - 2246 . doi: 10.3969/j.issn.1007-2276.2012.08.051 http://dx.doi.org/10.3969/j.issn.1007-2276.2012.08.051

LUO Y ， JIN W Q ， LIU X D . Color look-up space based natural color fusion algorithm and DSP real-time implementation ［J］. Infrared and Laser Engineering ， 2012 ， 41 （ 8 ）： 2241 - 2246 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2012.08.051 http://dx.doi.org/10.3969/j.issn.1007-2276.2012.08.051

范永杰，金伟其，李力，等 . 基于FPGA的可见光/红外双通道实时视频融合系统［J］. 红外技术， 2011 ， 33 （ 5 ）： 257 - 261 . doi: 10.3969/j.issn.1001-8891.2011.05.003 http://dx.doi.org/10.3969/j.issn.1001-8891.2011.05.003

FAN Y J ， JIN W Q ， LI L ， et al . Real time fusion system for visible and IR video based on FPGA ［J］. Infrared Technology ， 2011 ， 33 （ 5 ）： 257 - 261 . （in Chinese） . doi: 10.3969/j.issn.1001-8891.2011.05.003 http://dx.doi.org/10.3969/j.issn.1001-8891.2011.05.003

杨桄，童涛，陆松岩，等 . 基于多特征的红外与可见光图像融合［J］. 光学精密工程， 2014 ， 22 （ 2 ）： 489 - 496 . doi: 10.3788/OPE.20142202.0489 http://dx.doi.org/10.3788/OPE.20142202.0489

YANG G ， TONG T ， LU S Y ， et al . Fusion of infrared and visible images based on multi-features ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 2 ）： 489 - 496 . （in Chinese） . doi: 10.3788/OPE.20142202.0489 http://dx.doi.org/10.3788/OPE.20142202.0489

SUN C Q ， ZHANG C ， XIONG N X . Infrared and visible image fusion techniques based on deep learning： a review ［J］. Electronics ， 2020 ， 9 （ 12 ）： 2162 . doi: 10.3390/electronics9122162 http://dx.doi.org/10.3390/electronics9122162

CAO Y P ， TISSE C L . Single-image-based solution for optics temperature-dependent nonuniformity correction in an uncooled long-wave infrared camera ［J］. Optics Letters ， 2014 ， 39 （ 3 ）： 646 - 648 . doi: 10.1364/ol.39.000646 http://dx.doi.org/10.1364/ol.39.000646

金伟其，贾晓婷，高绍姝，等 . 彩色融合图像的质量主观评价［J］. 光学精密工程， 2015 ， 23 （ 12 ）： 3465 - 3471 . doi: 10.3788/OPE.20152312.3465 http://dx.doi.org/10.3788/OPE.20152312.3465

JIN W Q ， JIA X T ， GAO SH SH ， et al . Subjective evaluation of quality for color fusion images ［J］. Opt. Precision Eng. ， 2015 ， 23 （ 12 ）： 3465 - 3471 . （in Chinese） . doi: 10.3788/OPE.20152312.3465 http://dx.doi.org/10.3788/OPE.20152312.3465

高绍姝，金伟其，王岭雪，等 . 基于场景理解的双波段彩色融合图像质量评价［J］. 红外与激光工程， 2014 ， 43 （ 1 ）： 300 - 305 . doi: 10.3969/j.issn.1007-2276.2014.01.053 http://dx.doi.org/10.3969/j.issn.1007-2276.2014.01.053

GAO SH SH ， JIN W Q ， WANG L X ， et al . Quality evaluation for dual-band color fusion images based on scene understanding ［J］. Infrared and Laser Engineering ， 2014 ， 43 （ 1 ）： 300 - 305 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2014.01.053 http://dx.doi.org/10.3969/j.issn.1007-2276.2014.01.053

张勇，金伟其 . 夜视融合图像质量客观评价方法［J］. 红外与激光工程， 2013 ， 42 （ 5 ）： 1360 - 1365 . doi: 10.3969/j.issn.1007-2276.2013.05.046 http://dx.doi.org/10.3969/j.issn.1007-2276.2013.05.046

ZHANG Y ， JIN W Q . Objective assessment method of night vision fusion image quality ［J］. Infrared and Laser Engineering ， 2013 ， 42 （ 5 ）： 1360 - 1365 . （in Chinese） . doi: 10.3969/j.issn.1007-2276.2013.05.046 http://dx.doi.org/10.3969/j.issn.1007-2276.2013.05.046

张林，张志杰，李岩峰 . 双波段比色测温技术的应用［J］. 现代电子技术， 2019 ， 42 （ 8 ）： 1 - 5 . doi: 10.16652/j.issn.1004-373x.2019.08.001 http://dx.doi.org/10.16652/j.issn.1004-373x.2019.08.001

ZHANG L ， ZHANG ZH J ， LI Y F . Application of dual-waveband colorimetric temperature measurement technology ［J］. Modern Electronics Technique ， 2019 ， 42 （ 8 ）： 1 - 5 . （in Chinese） . doi: 10.16652/j.issn.1004-373x.2019.08.001 http://dx.doi.org/10.16652/j.issn.1004-373x.2019.08.001

邢冀川，刘广荣，金伟其，等 . 双波段比色测温方法及其分析［J］. 红外技术， 2002 ， 24 （ 6 ）： 73 - 76 . doi: 10.3969/j.issn.1001-8891.2002.06.017 http://dx.doi.org/10.3969/j.issn.1001-8891.2002.06.017

XING J CH ， LIU G R ， JIN W Q ， et al . Dual waveband chromatic thermometry and its analysis ［J］. Infrared Technology ， 2002 ， 24 （ 6 ）： 73 - 76 . （in Chinese） . doi: 10.3969/j.issn.1001-8891.2002.06.017 http://dx.doi.org/10.3969/j.issn.1001-8891.2002.06.017

Views

672

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

OPE | Four-band coaxial imaging experimental platform and its image fusion methods

Polarized image feature fusion in power inspection

Infrared and visible image fusion based on multi-scale spatial attention complementary

Adaptive color compensation and multi-scale fusion for underwater image enhancement

X-ray image fusion for ancient bronze mirror based on intuitionistic fuzzy set entropy measure and salient feature detection

Conditional diffusion and multi-channel high-low frequency parallel fusion of infrared and visible light images

Related Author

NI Mengyao

PENG Yuanlong

HU Shang

YAN Longchuan

ZHENG Jinkun

CAO Danhua

ZHANG Yongxing

LIAN Bowen

Related Institution

School of Optical and Electronic Information， Huazhong University of Science and Technology

State Grid Information & Telecommunication Branch

State Grid JiangXi Electric Power Supply Co

National Key Laboratory of Adaptive Optics

Institute on Optics and Electronics Technology， Chinese Academy of Sciences

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰