Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion

Dian-wei WANG; Zhi-bin XING; Peng-fei HAN; Ying LIU; Jing JIANG; Xin-cheng REN

doi:10.37188/OPE.20212902.0349

您当前的位置：

首页 >

文章列表页 >

Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion

Information Sciences | 更新时间：2021-03-05

- Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion
- Optics and Precision Engineering Vol. 29, Issue 2, Pages: 349-362(2021)
- 作者机构：
  
  1.西安邮电大学通信与信息工程学院，陕西西安 710121
  2.西湖大学工学院人工智能研究与创新中心，浙江杭州 310024
  3.延安大学物理与电子信息学院，陕西延安 716000
- 作者简介：
  
  E-mail： 940152691@qq.com
- 基金信息：
- DOI：10.37188/OPE.20212902.0349
  CLC： TP391.41
- Received：01 July 2020，
  
  Revised：30 August 2020，
  
  Published：15 February 2021
- 稿件说明：
移动端阅览
王殿伟,邢质斌,韩鹏飞等.基于模拟多曝光融合的低照度全景图像增强[J].光学精密工程,2021,29(02):349-362.

WANG Dian-wei,XING Zhi-bin,HAN Peng-fei,et al.Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion[J].Optics and Precision Engineering,2021,29(02):349-362.
王殿伟,邢质斌,韩鹏飞等.基于模拟多曝光融合的低照度全景图像增强[J].光学精密工程,2021,29(02):349-362. DOI： 10.37188/OPE.20212902.0349.

WANG Dian-wei,XING Zhi-bin,HAN Peng-fei,et al.Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion[J].Optics and Precision Engineering,2021,29(02):349-362. DOI： 10.37188/OPE.20212902.0349.

摘要

针对低照度全景图像存在的对比度低、视觉效果差等问题，提出了一种基于模拟多曝光融合的低照度全景图像增强算法。首先，将原图像从RGB颜色空间转换到 HSV颜色空间，以图像信息熵作为度量估计最佳曝光率，采用亮度映射函数对

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7474772&type=

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7474751&type=

2.53999996

2.45533323

分量进行增强处理，再将其转回RGB颜色空间得到过曝光图像；接着，以低照度图像和过曝光图像为输入，采用曝光插值法合成中等曝光图像；然后，采用多尺度融合策略将低照度图像、中等曝光图像和过曝光图像进行融合，得到融合后的图像；最后，通过多尺度细节增强算法对融合后的图像进行细节增强，得到最终的增强图像。通过与NPE，LIME，SRIE，Li，Ying，RtinexNet算法相比，在不同场景的全景图像上，亮度顺序误差（LOE）最小为322，自然图像质量评估器（NIQE）最小为2.32，无参考空间域图像质量评估器最小为5.71，结构相似度（SSIM）最高达到0.82，综合性能优于其他对比算法。实验结果表明，本文算法能够有效地提升低照度全景图像的质量。

Abstract

Panoramic images captured under low-illumination conditions suffer from low contrast and poor visual effects. To address these problems， we propose a low-illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion. First， the original image is converted to HSV color space； then， the optimal exposure rate is estimated by using a metric of image information entropy， and the

component is enhanced by using an intensity transform function to obtain an overexposed image. Second， a medium-exposure image is generated by using an exposure interpolation method， which utilizes the low-light image and overexposed image as input. Third， the fused image is obtained by employing a multi-fusion strategy in which the original low-illumination image， medium-exposure image， and overexposed image are fused. Finally， the detailed information is enhanced by using a multi-scale detail boosting method. The proposed method exhibits better performance compared with NPE， LIME， SRIE， Li， Ying， and RtinexNet algorithms. In case of panoramic images of different scenes， the lightness order error is 322， natural image quality evaluator is 2.32， blind/referenceless image spatial quality evaluator is 5.71， and structure similarity index is 0.82. The comprehensive performance of the proposed method is found to be better than that of other comparison algorithms. Experimental results show that the quality of the low-illumination panoramic image can be improved effectively by using the proposed algorithm.

关键词

Keywords

references

冯维，吴贵铭，赵大兴，等 . 多图像融合Retinex用于弱光图像增强［J］. 光学精密工程， 2020 ， 28 （ 3 ）： 736 - 744 .

FENG W ， WU G M ， ZHAO D X ， et al . . Multi-image fusion Retinex for low-light image enhancement ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 736 - 744 . （in Chinese）

黄慧，董林鹭，刘小芳，等 . 改进Retinex的低光照图像增强［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1835 - 1849 .

HUANG H ， DONG L L ， LIU X F ， et al . . Improved retinex low light image enhancement method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1835 - 1849 . （in Chinese）

王殿伟，韩鹏飞，范九伦，等 . 基于光照-反射成像模型和形态学操作的多谱段图像增强算法［J］. 物理学报， 2018 ， 067 （ 21 ）： 88 - 98 .

WANG D W ， HAN P F ， FAN J L ， et al . . Multispectral image enhancement based on illuminance-reflection imaging model and morphology operation ［J］. Acta Physica Sinica ， 2018 ， 67 （ 21 ）： 210701 . （in Chinese）

王卫星，赵恒 . 结合改进Retinex及自适应分数阶微分的雾霾公路交通图像增强［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1820 - 1834 .

WANG W X ， ZHAO H . Haze traffic image enhancement based on improved retinex and adaptive fractional differential ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1820 - 1834 . （in Chinese）

王成，张艳超 . 像素级自适应融合的夜间图像增强［J］. 液晶与显示， 2019 ， 34 （ 9 ）： 888 - 896 .

WANG CH ， ZHANG Y CH . Night image enhancement based on pixel level adaptive image fusion ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 9 ）： 888 - 896 . （in Chinese）

LAND ， EDWIN H . The retinex theory of color vision ［J］. Scientific American ， 1977 ， 237 （ 6 ）： 108 - 128 .

WANG S ， ZHENG J ， HU H M ， et al . . Naturalness preserved enhancement algorithm for non-uniform illumination images ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 9 ）： 3538 - 3548 .

GUO X ， LI Y ， LING H . LIME： Low-light image enhancement via illumination map estimation ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 2 ）： 982 - 993 .

FU X ， ZENG D ， HUANG Y ， et al .. A weighted variational model for simultaneous reflectance and illumination estimation ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， 2016 ： 2782 - 2790 .

LI M ， LIU J ， YANG W ， et al . . Structure-revealing low-light image enhancement via robust retinex model ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 6 ）： 2828 - 2841 .

LORE K G ， AKINTAYO A ， SARKAR S . LLNet： A deep autoencoder approach to natural low-light image enhancement ［J］. Pattern Recognition ， 2015 ， 61 ： 650 - 662 .

WEI C ， WANG W ， YANG W ， et al .. Deep Retinex decomposition for low-light enhancement ［C］. Int. Proc. of Brit. Mach. Vis. Conf. （BMVC）， 2018 ， 9 ： 1 .

CAI J ， GU S ， ZHANG L . Learning a deep single image contrast enhancer from multi-exposure images ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 4 ）： 2049 - 2062 .

WANG R ， ZHANG Q ， FU C ， et al .. Underexposed photo enhancement using deep illumination estimation ［C］. In Proc. of IEEE Int. Conf. Comput. Vis. Pattern Rec. （CVPR）， 2019 ： 6849 - 6857 .

YANG W ， WANG S ， FANG Y ， et al .. From fidelity to perceptual quality： A semi-supervised approach for low-light image enhancement ［C］. In Proc. IEEE Conf. Comput. Vis. Pattern Recognit. ， 2020 ， 6 ： 1 - 10 .

FU X Y ， ZENG D L ， HUANG Y ， et al . . A fusion-based enhancing method for weakly illuminated images ［J］． Signal Processing ， 2016 ， 129 ： 82 - 96 ．

LIU S ， ZHANG Y . Detail-preserving underexposed image enhancement via optimal weighted multi-exposure fusion ［J］. IEEE Transactions on Consumer Electronics ， 2019 ， 65 （ 3 ）： 303 - 311 .

YING Z Q ， LI G ， REN Y R ， et al .. A new image contrast enhancement algorithm using exposure fusion framework ［C］. Proc of International Conference on Computer Analysis of Images and Patterns．Berlin ： Springer ， 2017 ： 36 - 46 ．

YANG Y ， CAO W ， WU S ， et al . . Multi-scale fusion of two large-exposure-ratio images ［J］. IEEE Signal Processing Letters ， 2018 ， 25 （ 12 ）： 1885 - 1889 .

FARBMAN Z ， FATTAL R ， LISCHINSKI D ， et al . . Edge-preserving decompositions for multi-scale tone and detail manipulation ［J］. ACM Trans. Graph . 2008 ， 27 （ 3 ）： 67 ： 1 - 67 ： 10 .

WANG Q ， CHEN W ， WU X ， et al . . Detail-enhanced multi-scale exposure fusion in YUV color space ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ，（ 99 ）： 1 - 1 .

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 .

MITTAL A ， FELLOW ， IEEE ， et al . . Making a 'Completely blind' image quality Analyzer ［J］. IEEE Signal Processing Letters ， 2013 ， 20 （ 3 ）： 209 - 212 .

MITTAL A ， MOORTHY A K ， BOVIK A C . No-reference image quality assessment in the spatial domain ［J］. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society ， 2012 ， 21 （ 12 ）： 469 .

Views

392

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Adaptive color compensation and multi-scale fusion for underwater image enhancement

Degradation remote sensing image quality enhancement based on frequency-domain-spatial-domain hybrid attention

Underwater image enhancement using joint texture perception and color histogram features

Cross-level feature aggregation image enhancement with dual-path hybrid attention

Low-light image enhancement based on the fusion of Bilateral filter MSR and AutoMSRCR

Related Author

LIU Cuiyin

JING Tengyun

WANG Feng

CHEN Yuanshuai

WEI Hua

TANG Xiongxin

NIE Haitao

WANG Jing

Related Institution

School of Physics and Material Sciences， Guangzhou University

School of Information Engineering and Automation， Kunming University of Science and Technology

Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences

Laboratory of Science and Technology on Integrated Information System， Institute of Software， Chinese Academy of Sciences

Department of emergency management， Institute of Disaster Prevention

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰