基于模拟多曝光融合的低照度全景图像增强

王殿伟; 邢质斌; 韩鹏飞; 刘颖; 姜静; 任新成

doi:10.37188/OPE.20212902.0349

您当前的位置：

首页 >

文章列表页 >

基于模拟多曝光融合的低照度全景图像增强

信息科学 | 更新时间：2021-03-05

- 基于模拟多曝光融合的低照度全景图像增强
- Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion
- 光学精密工程 2021年29卷第2期页码：349-362
- 作者机构：
  
  1.西安邮电大学通信与信息工程学院，陕西西安 710121
  2.西湖大学工学院人工智能研究与创新中心，浙江杭州 310024
  3.延安大学物理与电子信息学院，陕西延安 716000
- 作者简介：
  
  [ "王殿伟（1978-），男，博士，副教授，2010年于西北工业大学获得博士学位，主要从事计算机视觉、人工智能方面的研究。E-mail：wangdianwei@xupt.edu.cn" ]
  [ "任新成（1967-），男，博士，教授，2008年于西安电子科技大学获得博士学位，现任延安大学物理与电子信息学院院长、信息与通信工程研究所所长。E-mail：yauxchren@yahoo.com.cn" ]
- 基金信息：
  
  公安部科技强警基础工作专项资助项目(2019GABJC42);陕西省能源大数据智能处理省市共建重点实验室开放基金资助项目(IPBED6)
- DOI：10.37188/OPE.20212902.0349
  中图分类号： TP391.41
- 收稿日期：2020-07-01，
  
  修回日期：2020-08-30，
  
  纸质出版日期：2021-02-15
- 稿件说明：
移动端阅览
王殿伟,邢质斌,韩鹏飞等.基于模拟多曝光融合的低照度全景图像增强[J].光学精密工程,2021,29(02):349-362.

WANG Dian-wei,XING Zhi-bin,HAN Peng-fei,et al.Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion[J].Optics and Precision Engineering,2021,29(02):349-362.
王殿伟,邢质斌,韩鹏飞等.基于模拟多曝光融合的低照度全景图像增强[J].光学精密工程,2021,29(02):349-362. DOI： 10.37188/OPE.20212902.0349.

WANG Dian-wei,XING Zhi-bin,HAN Peng-fei,et al.Low illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion[J].Optics and Precision Engineering,2021,29(02):349-362. DOI： 10.37188/OPE.20212902.0349.

摘要

针对低照度全景图像存在的对比度低、视觉效果差等问题，提出了一种基于模拟多曝光融合的低照度全景图像增强算法。首先，将原图像从RGB颜色空间转换到 HSV颜色空间，以图像信息熵作为度量估计最佳曝光率，采用亮度映射函数对

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7474772&type=

http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7474751&type=

2.53999996

2.45533323

分量进行增强处理，再将其转回RGB颜色空间得到过曝光图像；接着，以低照度图像和过曝光图像为输入，采用曝光插值法合成中等曝光图像；然后，采用多尺度融合策略将低照度图像、中等曝光图像和过曝光图像进行融合，得到融合后的图像；最后，通过多尺度细节增强算法对融合后的图像进行细节增强，得到最终的增强图像。通过与NPE，LIME，SRIE，Li，Ying，RtinexNet算法相比，在不同场景的全景图像上，亮度顺序误差（LOE）最小为322，自然图像质量评估器（NIQE）最小为2.32，无参考空间域图像质量评估器最小为5.71，结构相似度（SSIM）最高达到0.82，综合性能优于其他对比算法。实验结果表明，本文算法能够有效地提升低照度全景图像的质量。

Abstract

Panoramic images captured under low-illumination conditions suffer from low contrast and poor visual effects. To address these problems， we propose a low-illumination panoramic image enhancement algorithm based on simulated multi-exposure fusion. First， the original image is converted to HSV color space； then， the optimal exposure rate is estimated by using a metric of image information entropy， and the

component is enhanced by using an intensity transform function to obtain an overexposed image. Second， a medium-exposure image is generated by using an exposure interpolation method， which utilizes the low-light image and overexposed image as input. Third， the fused image is obtained by employing a multi-fusion strategy in which the original low-illumination image， medium-exposure image， and overexposed image are fused. Finally， the detailed information is enhanced by using a multi-scale detail boosting method. The proposed method exhibits better performance compared with NPE， LIME， SRIE， Li， Ying， and RtinexNet algorithms. In case of panoramic images of different scenes， the lightness order error is 322， natural image quality evaluator is 2.32， blind/referenceless image spatial quality evaluator is 5.71， and structure similarity index is 0.82. The comprehensive performance of the proposed method is found to be better than that of other comparison algorithms. Experimental results show that the quality of the low-illumination panoramic image can be improved effectively by using the proposed algorithm.

关键词

Keywords

references

冯维，吴贵铭，赵大兴，等 . 多图像融合Retinex用于弱光图像增强［J］. 光学精密工程， 2020 ， 28 （ 3 ）： 736 - 744 .

FENG W ， WU G M ， ZHAO D X ， et al . . Multi-image fusion Retinex for low-light image enhancement ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 736 - 744 . （in Chinese）

黄慧，董林鹭，刘小芳，等 . 改进Retinex的低光照图像增强［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1835 - 1849 .

HUANG H ， DONG L L ， LIU X F ， et al . . Improved retinex low light image enhancement method ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1835 - 1849 . （in Chinese）

王殿伟，韩鹏飞，范九伦，等 . 基于光照-反射成像模型和形态学操作的多谱段图像增强算法［J］. 物理学报， 2018 ， 067 （ 21 ）： 88 - 98 .

WANG D W ， HAN P F ， FAN J L ， et al . . Multispectral image enhancement based on illuminance-reflection imaging model and morphology operation ［J］. Acta Physica Sinica ， 2018 ， 67 （ 21 ）： 210701 . （in Chinese）

王卫星，赵恒 . 结合改进Retinex及自适应分数阶微分的雾霾公路交通图像增强［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1820 - 1834 .

WANG W X ， ZHAO H . Haze traffic image enhancement based on improved retinex and adaptive fractional differential ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1820 - 1834 . （in Chinese）

王成，张艳超 . 像素级自适应融合的夜间图像增强［J］. 液晶与显示， 2019 ， 34 （ 9 ）： 888 - 896 .

WANG CH ， ZHANG Y CH . Night image enhancement based on pixel level adaptive image fusion ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 9 ）： 888 - 896 . （in Chinese）

LAND ， EDWIN H . The retinex theory of color vision ［J］. Scientific American ， 1977 ， 237 （ 6 ）： 108 - 128 .

WANG S ， ZHENG J ， HU H M ， et al . . Naturalness preserved enhancement algorithm for non-uniform illumination images ［J］. IEEE Transactions on Image Processing ， 2013 ， 22 （ 9 ）： 3538 - 3548 .

GUO X ， LI Y ， LING H . LIME： Low-light image enhancement via illumination map estimation ［J］. IEEE Transactions on Image Processing ， 2017 ， 26 （ 2 ）： 982 - 993 .

FU X ， ZENG D ， HUANG Y ， et al .. A weighted variational model for simultaneous reflectance and illumination estimation ［C］. IEEE Conference on Computer Vision and Pattern Recognition ， 2016 ： 2782 - 2790 .

LI M ， LIU J ， YANG W ， et al . . Structure-revealing low-light image enhancement via robust retinex model ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 6 ）： 2828 - 2841 .

LORE K G ， AKINTAYO A ， SARKAR S . LLNet： A deep autoencoder approach to natural low-light image enhancement ［J］. Pattern Recognition ， 2015 ， 61 ： 650 - 662 .

WEI C ， WANG W ， YANG W ， et al .. Deep Retinex decomposition for low-light enhancement ［C］. Int. Proc. of Brit. Mach. Vis. Conf. （BMVC）， 2018 ， 9 ： 1 .

CAI J ， GU S ， ZHANG L . Learning a deep single image contrast enhancer from multi-exposure images ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 4 ）： 2049 - 2062 .

WANG R ， ZHANG Q ， FU C ， et al .. Underexposed photo enhancement using deep illumination estimation ［C］. In Proc. of IEEE Int. Conf. Comput. Vis. Pattern Rec. （CVPR）， 2019 ： 6849 - 6857 .

YANG W ， WANG S ， FANG Y ， et al .. From fidelity to perceptual quality： A semi-supervised approach for low-light image enhancement ［C］. In Proc. IEEE Conf. Comput. Vis. Pattern Recognit. ， 2020 ， 6 ： 1 - 10 .

FU X Y ， ZENG D L ， HUANG Y ， et al . . A fusion-based enhancing method for weakly illuminated images ［J］． Signal Processing ， 2016 ， 129 ： 82 - 96 ．

LIU S ， ZHANG Y . Detail-preserving underexposed image enhancement via optimal weighted multi-exposure fusion ［J］. IEEE Transactions on Consumer Electronics ， 2019 ， 65 （ 3 ）： 303 - 311 .

YING Z Q ， LI G ， REN Y R ， et al .. A new image contrast enhancement algorithm using exposure fusion framework ［C］. Proc of International Conference on Computer Analysis of Images and Patterns．Berlin ： Springer ， 2017 ： 36 - 46 ．

YANG Y ， CAO W ， WU S ， et al . . Multi-scale fusion of two large-exposure-ratio images ［J］. IEEE Signal Processing Letters ， 2018 ， 25 （ 12 ）： 1885 - 1889 .

FARBMAN Z ， FATTAL R ， LISCHINSKI D ， et al . . Edge-preserving decompositions for multi-scale tone and detail manipulation ［J］. ACM Trans. Graph . 2008 ， 27 （ 3 ）： 67 ： 1 - 67 ： 10 .

WANG Q ， CHEN W ， WU X ， et al . . Detail-enhanced multi-scale exposure fusion in YUV color space ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ，（ 99 ）： 1 - 1 .

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . . Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 .

MITTAL A ， FELLOW ， IEEE ， et al . . Making a 'Completely blind' image quality Analyzer ［J］. IEEE Signal Processing Letters ， 2013 ， 20 （ 3 ）： 209 - 212 .

MITTAL A ， MOORTHY A K ， BOVIK A C . No-reference image quality assessment in the spatial domain ［J］. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society ， 2012 ， 21 （ 12 ）： 469 .

浏览量

325

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于频域-空域混合注意力的降质遥感图像质量增强

纹理感知联合颜色直方图特征的水下图像增强

双路混合注意力的跨层次特征聚合图像增强

基于双边滤波MSR与AutoMSRCR融合的低光照图像增强

基于层级特征融合的室内自监督单目深度估计