Fine restoration of incomplete image with external features and image features

Tao XU; Ji-yong ZHOU; Guo-liang ZHANG; Lei CAI

doi:10.37188/OPE.20212910.2481

您当前的位置：

首页 >

文章列表页 >

Fine restoration of incomplete image with external features and image features

Information Sciences | 更新时间：2021-11-01

- Fine restoration of incomplete image with external features and image features
- Optics and Precision Engineering Vol. 29, Issue 10, Pages: 2481-2494(2021)
- 作者机构：
  
  1.河南科技学院人工智能学院，河南新乡 453003
  2.河南科技学院机电学院，河南新乡 453003
  3.国家电网全球能源互联网研究院有限公司，北京 102209
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212910.2481
  CLC： TP394.1;
- Received：25 March 2021，
  
  Revised：24 May 2021，
  
  Published：15 October 2021
- 稿件说明：
移动端阅览
徐涛,周纪勇,张国梁等.场内外特征融合的残缺图像精细修复[J].光学精密工程,2021,29(10):2481-2494.

XU Tao,ZHOU Ji-yong,ZHANG Guo-liang,et al.Fine restoration of incomplete image with external features and image features[J].Optics and Precision Engineering,2021,29(10):2481-2494.
徐涛,周纪勇,张国梁等.场内外特征融合的残缺图像精细修复[J].光学精密工程,2021,29(10):2481-2494. DOI： 10.37188/OPE.20212910.2481.

XU Tao,ZHOU Ji-yong,ZHANG Guo-liang,et al.Fine restoration of incomplete image with external features and image features[J].Optics and Precision Engineering,2021,29(10):2481-2494. DOI： 10.37188/OPE.20212910.2481.

摘要

针对当目标特征严重缺失时现有图像修复方法未能充分利用完整区域预测缺失区域特征，造成修复结果特征不连续、细节纹理模糊等问题，本文提出一种基于场内外特征（EFIF）融合的残缺图像精细修复方法。首先，利用改进的动态记忆网络（DMN+）算法将残缺图像的场内特征及相关的场外特征融合，生成包含场内外特征的残缺图像优化图；其次，构建带有梯度惩罚约束条件的生成对抗生成网络，指导生成器对优化后的残缺图像进行粗修复，获得待修复目标的粗修复图；最后通过相关特征连贯的思想对粗修复图进一步优化，得到最终的精细修复图。在三个复杂度不同的图像数据集仿真验证，并与现有占主导地位的修复模型进行视觉效果和客观数据比对。实验结果显示：本文模型修复的结果在纹理结构上更加合理，在视觉效果和客观数据均优于其他模型，在最有挑战性的Underwater Targe数据集中所提算法峰值信噪比（PSNR）最高为27.01，结构相似性指数（SSIM）最高为0.949。

Abstract

When large areas of an image are missing owing to unspecified factors

existing image restoration models usually cannot repair the image effectively

leading to repair results that suffer from discontinuity in their characteristics. This study proposes a fine restoration method for incomplete images with external and image features. First

we improved the dynamic memory networks (DMN+) in our study. DMN+ scheme combines the in-field features of an incomplete image and the related off-field features

generating an optimized image of the defective image containing external and image features. Next

a generative adversarial generative network with piecewise gradient penalty constraints is constructed. The network instructs the generator to perform a coarse repair on the optimized mutilated image

which results in a coarse repair image of the target to be repaired. Finally

the coarse restoration map is further optimized based on the idea of coherence of related features

and a final fine restoration image is obtained. The algorithm proposed here is verified on three image data sets with varying complexities. Moreover

the visual effects and objective data results of the proposed algorithm are compared with those of the existing dominant restoration model. The restoration results of our model are more structurally sound in terms of texture. Furthermore

our model is superior to other models in terms of both visual effects and objective data. The peak signal-to-noise ratio in the most challenging Underwater Targe dataset is 27.01

with a structural similarity index of 0.949.

关键词

Keywords

references

李志丹，苟慧玲，程吉祥，等 . 结合梯度特征与色彩一致性的图像修复［J］. 光学精密工程， 2019 ， 27 （ 1 ）： 251 - 259 . doi: 10.3788/ope.20192701.0251 http://dx.doi.org/10.3788/ope.20192701.0251

LI ZH D ， GOU H L ， CHENG J X ， et al . Image inpainting using gradient features and color consistency ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 1 ）： 251 - 259 . （in Chinese） . doi: 10.3788/ope.20192701.0251 http://dx.doi.org/10.3788/ope.20192701.0251

V V V ， A S R ， I M V ， et al . Video inpainting of complex scenes based on local statistical model ［J］. Electronic Imaging ， 2016 ， 2016（ 15 ）： 1 - 6 . doi: 10.2352/issn.2470-1173.2016.15.ipas-193 http://dx.doi.org/10.2352/issn.2470-1173.2016.15.ipas-193

YAN Z Y ， LI X M ， LI M ， et al . Shift-net ： Image Inpainting Via Deep Feature Rearrangement ［M］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01264-9_1 http://dx.doi.org/10.1007/978-3-030-01264-9_1

XIONG W ， YU J H ， LIN Z ， et al . Foreground-aware image inpainting ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 5833 - 5841 . doi: 10.1109/cvpr.2019.00599 http://dx.doi.org/10.1109/cvpr.2019.00599

NAZERI K ， NG E ， JOSEPH T ， et al . EdgeConnect： generative image inpainting with adversarial edge learning ［EB/OL］. 2019： arXiv ： 1901 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212

00212［ cs . CV］ . https：//arxiv.org/abs/1901.00212 https://arxiv.org/abs/1901.00212 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212

EFROS A A ， LEUNG T K . Texture synthesis by non-parametric sampling ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision. 2027，1999 ， Kerkyra， Greece. IEEE ， 1999 ： 1033 - 1038 . doi: 10.1109/iccv.1999.790383 http://dx.doi.org/10.1109/iccv.1999.790383

BERTALMIO M ， VESE L ， SAPIRO G ， et al . Simultaneous structure and texture image inpainting ［J］. IEEE Transactions on Image Processing ， 2003 ， 12 （ 8 ）： 882 - 889 . doi: 10.1109/tip.2003.815261 http://dx.doi.org/10.1109/tip.2003.815261

CRIMINISI A ， PEREZ P ， TOYAMA K . Region filling and object removal by exemplar-based image inpainting ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 9 ）： 1200 - 1212 . doi: 10.1109/tip.2004.833105 http://dx.doi.org/10.1109/tip.2004.833105

LE MEUR O ， GAUTIER J ， GUILLEMOT C . Examplar-based inpainting based on local geometry ［C］. 2011 18th IEEE International Conference on Image Processing . 1114，2011 ， Brussels ， Belgium . IEEE ， 2011 ： 3401 - 3404 . doi: 10.1109/icip.2011.6116441 http://dx.doi.org/10.1109/icip.2011.6116441

金炜，王文龙，符冉迪，等 . 联合块匹配与稀疏表示的卫星云图修复［J］. 光学精密工程， 2014 ， 22 （ 7 ）： 1886 - 1895 . doi: 10.3788/OPE.20142207.1886 http://dx.doi.org/10.3788/OPE.20142207.1886

JIN W ， WANG W L ， FU R D ， et al . Satellite cloud image inpainting based on patch matching and sparse representation ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 7 ）： 1886 - 1895 . （in Chinese） . doi: 10.3788/OPE.20142207.1886 http://dx.doi.org/10.3788/OPE.20142207.1886

CHAN T F ， SHEN J H . Nontexture inpainting by curvature-driven diffusions ［J］. Journal of Visual Communication and Image Representation ， 2001 ， 12 （ 4 ）： 436 - 449 . doi: 10.1006/jvci.2001.0487 http://dx.doi.org/10.1006/jvci.2001.0487

CHAN T F ， SHEN J H ， VESE L . Variational PDE models in image processing ［R］. Defense Technical Information Center ， 2002 . doi: 10.21236/ada437477 http://dx.doi.org/10.21236/ada437477

朱为，李国辉 . 基于自动结构延伸的图像修补方法［J］. 自动化学报， 2009 ， 35 （ 8 ）： 1041 - 1047 . doi: 10.3724/SP.J.1004.2009.01041 http://dx.doi.org/10.3724/SP.J.1004.2009.01041

ZHU W ， LI G H . Image completion based on automatic structure propagation ［J］. Acta Automatica Sinica ， 2009 ， 35 （ 8 ）： 1041 - 1047 . （in Chinese） . doi: 10.3724/SP.J.1004.2009.01041 http://dx.doi.org/10.3724/SP.J.1004.2009.01041

IIZUKA S ， SIMO-SERRA E ， ISHIKAWA H . Globally and locally consistent image completion ［J］. ACM Transactions on Graphics ， 2017 ， 36 （ 4 ）： 1 - 14 . doi: 10.1145/3072959.3073659 http://dx.doi.org/10.1145/3072959.3073659

DEKEL T ， GAN C ， KRISHNAN D ， et al . Sparse， smart contours to represent and edit images ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3511 - 3520 . doi: 10.1109/cvpr.2018.00370 http://dx.doi.org/10.1109/cvpr.2018.00370

GOODFELLOW J ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial nets ［C］. In Advances in Neural Information Processing Systems ， Montreal， Canada， AIPS ， 2014 ： 2672 - 2680 .

GU J X ， ZHAO H D ， LIN Z ， et al . Scene graph generation with external knowledge and image reconstruction ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 1969 - 1978 . doi: 10.1109/cvpr.2019.00207 http://dx.doi.org/10.1109/cvpr.2019.00207

SAINBAYAR S ， SZLAM A ， JASON W ， et al . End-To-End memory networks ［C］. International Conference on Neural Information Processing Systems ， 2017 ： 2440 - 2448 .

CAIMING X ， STEPHEN M ， RICHARD S ， et al . Dynamic memory networks for visual and textual question answering ［C］. International Conference on International Conference on Machine Learning ， 2016 ： 2397 - 2406 .

ZHENG C X ， CHAM T J ， CAI J F . Pluralistic image completion ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 1438 - 1447 . doi: 10.1109/cvpr.2019.00153 http://dx.doi.org/10.1109/cvpr.2019.00153

LIU H Y ， JIANG B ， XIAO Y ， et al . Coherent semantic attention for image inpainting ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 4169 - 4178 . doi: 10.1109/iccv.2019.00427 http://dx.doi.org/10.1109/iccv.2019.00427

YU J H ， LIN Z ， YANG J M ， et al . Generative image inpainting with contextual attention ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 5505 - 5514 . doi: 10.1109/cvpr.2018.00577 http://dx.doi.org/10.1109/cvpr.2018.00577

WU Q ， SHEN C H ， WANG P ， et al . Image captioning and visual question answering based on attributes and external knowledge ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 6 ）： 1367 - 1381 . doi: 10.1109/tpami.2017.2708709 http://dx.doi.org/10.1109/tpami.2017.2708709

KUMAR A ， IRSOY O ， ONDRUSKA P ， et al . Ask me anything： dynamic memory networks for natural language processing ［C］. International Conference on Machine Learning ， New York ， 2015 ， pp. 2068 - 2078 .

BARNES C E ， SHECHTMAN A ， GOLDMAN D B ， et al . Patchmatch： a randomized correspondence algorithm forstructural image editing ［J］. Transactions on Graphics ， 2009 ， 28 （ 3 ）： 1 - 11 . doi: 10.1145/1531326.1531330 http://dx.doi.org/10.1145/1531326.1531330

PATHAK D ， KRÄHENBÜHL P ， DONAHUE J ， et al . Context encoders： feature learning by inpainting ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 2536 - 2544 . doi: 10.1109/cvpr.2016.278 http://dx.doi.org/10.1109/cvpr.2016.278

YANG C ， LU X ， LIN Z ， et al . High-resolution image inpainting using multi-scale neural patch synthesis ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 4076 - 4084 . doi: 10.1109/cvpr.2017.434 http://dx.doi.org/10.1109/cvpr.2017.434

RUSSAKOVSKY O ， DENG J ， SU H ， et al . ImageNet large scale visual recognition challenge ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 211 - 252 . doi: 10.1007/s11263-015-0816-y http://dx.doi.org/10.1007/s11263-015-0816-y

KAMALYAN A G ， SIMONYAN V V . On the number of solutions of a certain type of one-dimensional pseudodifferential equations in the Sobolev-Slobedetski space ［J］. Journal of Shellfish Research ， 2002 ， 21 （ 1 ）： 201 - 210 .

LIU Z W ， LUO P ， WANG X G ， et al . Deep learning face attributes in the wild ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2015 ： 3730 - 3738 . doi: 10.1109/iccv.2015.425 http://dx.doi.org/10.1109/iccv.2015.425

LIU R S ， FAN X ， ZHU M ， et al . Real-world underwater enhancement： challenges， benchmarks， and solutions under natural light ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2020 ， 30 （ 12 ）： 4861 - 4875 . doi: 10.1109/tcsvt.2019.2963772 http://dx.doi.org/10.1109/tcsvt.2019.2963772

WANG Y J ， LI J H ， LU Y ， et al . Image quality evaluation based on image weighted separating block peak signal to noise ratio ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Proceedings of the 2003. 1417，2003 ， Nanjing， China. IEEE ， 2003： 994 - 997 . doi: 10.1109/icnnsp.2003.1281036 http://dx.doi.org/10.1109/icnnsp.2003.1281036

TUNCEL E ， FERHATOSMANOGLU H ， ROSE K . VQ-index： an index structure for similarity searching in multimedia databases ［C］. Proceedings of the tenth ACM international conference on Multimedia-MULTIMEDIA '02. December 1 - 6 ， 2002 .Juan-les-Pins， France. New York ： ACM Press ， 2002 ： 543 - 552 . doi: 10.1145/641007.641117 http://dx.doi.org/10.1145/641007.641117

Views

1148

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

OPE | Fine restoration of incomplete image with external features and image features

No data

Related Author

No data

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰