Chinese Version Light学术出版中心
无数据
Advanced Search
- About Journal
- Articles Online
- For Authors
- Reviewers
- Contact Us
Your Location：
Home >
Browse articles >
Fine restoration of incomplete image with external features and image features
Information Sciences | Updated：2021-11-01
|
Fine restoration of incomplete image with external features and image features
- Optics and Precision Engineering
- Affiliations：
1.School of Artificial Engineering， Henan Institute of Science and Technology， Xinxiang 453003， China
2.School of Mechanical and Electrical Engineering， Henan Institute of Science and Technology， Xinxiang 453003， China
3.Global Energy Interconnection Research Institute co.Ltd.， Beijing 102209， China
- Author bio：
- Funds：
- DOI：10.37188/OPE.20212910.2481 CLC： TP394.1;
Published：15 October 2021，
Received：25 March 2021，
Revised：24 May 2021，
Scan for full text
Cite this article
徐涛,周纪勇,张国梁等.场内外特征融合的残缺图像精细修复[J].光学精密工程,2021,29(10):2481-2494.
XU Tao,ZHOU Ji-yong,ZHANG Guo-liang,et al.Fine restoration of incomplete image with external features and image features[J].Optics and Precision Engineering,2021,29(10):2481-2494.
徐涛,周纪勇,张国梁等.场内外特征融合的残缺图像精细修复[J].光学精密工程,2021,29(10):2481-2494. DOI： 10.37188/OPE.20212910.2481.
XU Tao,ZHOU Ji-yong,ZHANG Guo-liang,et al.Fine restoration of incomplete image with external features and image features[J].Optics and Precision Engineering,2021,29(10):2481-2494. DOI： 10.37188/OPE.20212910.2481.
Fine restoration of incomplete image with external features and image features
场内外特征融合的残缺图像精细修复 Fine restoration of incomplete image with external features and image features 1 corresp first-author E-mail： xutao@hist.edu.cn E-mail： xutao@hist.edu.cn 徐 涛（1981-），男，河南新乡人，博士，讲师，硕士研究生导师，2017年于北京工业大学获得博士学位，主要从事智能机器人环境感知、机器视觉等方面的研究。E-mail： xutao@hist.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871528&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871526&type= 22.01332855 32.00404358 徐 涛 （1981-），男，河南新乡人，博士，讲师，硕士研究生导师，2017年于北京工业大学获得博士学位，主要从事智能机器人环境感知、机器视觉等方面的研究。E-mail： xutao@hist.edu.cn xutao@hist.edu.cn 2 周纪勇（1995-），男，河南漯河人，硕士研究生，2019年于绥化学院获得学士学位，现于河南科技学院攻读硕士研究生，研究方向为图像处理。E-mail： zhoujiyong2020@126.com周纪勇（1995-），男，河南漯河人，硕士研究生，2019年于绥化学院获得学士学位，现于河南科技学院攻读硕士研究生，研究方向为图像处理。E-mail： zhoujiyong2020@126.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871533&type= 22.01332855 32.00396729 周纪勇 （1995-），男，河南漯河人，硕士研究生，2019年于绥化学院获得学士学位，现于河南科技学院攻读硕士研究生，研究方向为图像处理。E-mail： zhoujiyong2020@126.com 周纪勇 （1995-），男，河南漯河人，硕士研究生，2019年于绥化学院获得学士学位，现于河南科技学院攻读硕士研究生，研究方向为图像处理。E-mail： zhoujiyong2020@126.com zhoujiyong2020@126.com 3 1 河南科技学院 人工智能学院，河南 新乡 453003 河南科技学院 人工智能学院，河南 新乡 453003 School of Artificial Engineering， Henan Institute of Science and Technology， Xinxiang 453003， China School of Artificial Engineering， Henan Institute of Science and Technology， Xinxiang 453003， China 河南科技学院 机电学院，河南 新乡 453003 河南科技学院 机电学院，河南 新乡 453003 School of Mechanical and Electrical Engineering， Henan Institute of Science and Technology， Xinxiang 453003， China School of Mechanical and Electrical Engineering， Henan Institute of Science and Technology， Xinxiang 453003， China 国家电网全球能源互联网研究院有限公司，北京 102209 国家电网全球能源互联网研究院有限公司，北京 102209 Global Energy Interconnection Research Institute co.Ltd.， Beijing 102209， China Global Energy Interconnection Research Institute co.Ltd.， Beijing 102209， China 针对当目标特征严重缺失时现有图像修复方法未能充分利用完整区域预测缺失区域特征，造成修复结果特征不连续、细节纹理模糊等问题，本文提出一种基于场内外特征（EFIF）融合的残缺图像精细修复方法。首先，利用改进的动态记忆网络（DMN+）算法将残缺图像的场内特征及相关的场外特征融合，生成包含场内外特征的残缺图像优化图；其次，构建带有梯度惩罚约束条件的生成对抗生成网络，指导生成器对优化后的残缺图像进行粗修复，获得待修复目标的粗修复图；最后通过相关特征连贯的思想对粗修复图进一步优化，得到最终的精细修复图。在三个复杂度不同的图像数据集仿真验证，并与现有占主导地位的修复模型进行视觉效果和客观数据比对。实验结果显示：本文模型修复的结果在纹理结构上更加合理，在视觉效果和客观数据均优于其他模型，在最有挑战性的Underwater Targe数据集中所提算法峰值信噪比（PSNR）最高为27.01，结构相似性指数（SSIM）最高为0.949。 When large areas of an image are missing owing to unspecified factors, existing image restoration models usually cannot repair the image effectively, leading to repair results that suffer from discontinuity in their characteristics. This study proposes a fine restoration method for incomplete images with external and image features. First, we improved the dynamic memory networks (DMN+) in our study. DMN+ scheme combines the in-field features of an incomplete image and the related off-field features, generating an optimized image of the defective image containing external and image features. Next, a generative adversarial generative network with piecewise gradient penalty constraints is constructed. The network instructs the generator to perform a coarse repair on the optimized mutilated image, which results in a coarse repair image of the target to be repaired. Finally, the coarse restoration map is further optimized based on the idea of coherence of related features, and a final fine restoration image is obtained. The algorithm proposed here is verified on three image data sets with varying complexities. Moreover, the visual effects and objective data results of the proposed algorithm are compared with those of the existing dominant restoration model. The restoration results of our model are more structurally sound in terms of texture. Furthermore, our model is superior to other models in terms of both visual effects and objective data. The peak signal-to-noise ratio in the most challenging Underwater Targe dataset is 27.01, with a structural similarity index of 0.949. 残缺图像 相关特征连贯 精细修复 注意机制 场内外特征 mutilated images coherence of relevant features fine restoration attention mechanism external features and image features 1 引 言 1 图像修复是将因遮挡、模糊、传输干扰等各种因素造成信息缺失或损坏的图片，利用图像缺失部分邻域的信息和图像整体的结构等信息，并按照一定的信息复原技术对图像的缺失或损坏的区域进行修复 ［ 1 1 - 2 2 1-2 ］ 。图像修复技术具有独特的功能，已被应用到许多图像处理的场景中，例如删除图像中不需要的物体，去除目标物上的遮挡物体，修复损坏等。图像修复的核心技术是图像修复区域既要保持全局语义结构，又要保证生成逼真的纹理细节 ［ 3 3 - 5 5 3-5 ］ 。 传统的修复方法大多数是基于纹理合成和基于结构来实现图像信息的复原。基于纹理合成的技术通常利用低级特征的区域匹配和补丁来修复图像的缺失像素 ［ 6 6 - 9 9 6-9 ］ ，例如：彩色特征（RGB）值的均方差或尺度不变特征变换（SIFT）特征值 ［ 10 10 ］ 。此类方法对静态纹理的合成效果较好，但并不适应于图像结构复杂的场景。基于结构的图像修复方法常常依据图像信息的结构性原则，采用逐步扩散的方式修复图像，该类方法普遍适用于修复小范围缺失的图像 ［ 11 11 - 13 13 11-13 ］ ，当待修复目标信息大量缺失时修复效果就会明显下降。 深度学习方法的快速发展为图像修复模型开辟了一条新的路径。基于深度学习的图像修复模型是将一个深度神经网络通过在数据集中经过大量的训练，学习到图像更多深层次的特征信息，从而得到更加逼真的图像修复效果 ［ 14 14 - 16 16 14-16 ］ 。近年来，生成式对抗网络（GAN）作为一种无监督的深度学习模型被应用于图像修复领域 ［ 17 17 ， 28 28 ］ ，使得基于深度学习的图像修复得到了进一步的发展，其通过编码器完成图像修复，并借助判别器对修复图像的真实性进行评价，从而有效提高了图像的修复质量。 真实环境中普遍存在遮挡、模糊、传输干扰等因素，极易造成目标特征的严重缺失，现有图像修复方法难以充分利用完整区域预测缺失区域特征，造成修复区域存在着特征不连续、细节纹理模糊等问题。基于此，本文提出一种基于场内外特征（External Features and Image Features， EFIF）融合的残缺图像精细修复方法，将从知识库中提取关于待修复目标的文本描述定义为场外特征，并将待修复目标完整区域的信息定义为场内特征，其修复结果如 图1 图1 所示。首先，通过编码器将场外特征编码到神经网络模型中，利用改进的动态记忆网络（DMN+）算法 ［ 18 18 - 20 20 18-20 ］ 对待修复目标一致的场外特征进行检索，并实现与场内特征的融合，生成包含场内外特征的残缺图像优化图，从而解决目标信息不足的问题。其次，构建带有梯度惩罚约束条件的生成式对抗网络（WGAN-GP） ［ 21 21 - 22 22 21-22 ］ ，指导生成器对优化后的残缺图像进行粗修复，获得待修复目标的粗修复图。最终利用相关特征连贯的思想改进WGAN-GP的网络结构，得到特征连续、细节纹理清晰的精细修复图。 2 相关工作 1 2.1 外部知识与情景记忆 2 自然知识有助于提高深度学习模型的理解能力，因此，人们越来越倾向于利用场外知识库改进数据驱动模型。现有的人工智能知识库是通过人工构建的 ［ 23 23 ］ ，因此将知识库中的常识性知识提炼到深度神经网络是一个重要的研究领域。Wu等人 ［ 24 24 ］ 将提取到常识性知识编码为向量，并将其输入到神经网络中，与视觉特征结合起来为推理提供了额外的线索。Kumar等人 ［ 25 25 ］ 提出了基于情景记忆的网络模型，该模型将注意条件作为输入并经过网络进行推理从而输出结果。然而该模型是否能够直接应用于图像领域还是未知的，为了解决这一问题，Xiong等人 ［ 20 20 ］ 在DMN模型的基础上改进了其存储和输入层，在输入融合层采用双向的门循环单元（Gate Recurrent Unit，GRU），并提出了一种能够回答视觉问题的图像输入模型。 2.2 图像修复 2 目前的图像修复方法主要分为两类，一类是非学习的图像修复方法，一类是基于学习的图像修复方法。前者是传统的基于补丁的修复方法，后者是学习图像的深度特征，通过训练基于深度学习的修复模型最终推断缺失区域的特征信息，从而实现残缺图像的修复。非学习的方法主要是通过扩散邻近信息或复制背景最相关区域的信息来填补缺失区域 ［ 10 10 ， 15 15 ］ 。这类方法面对缺失区域小的图像可以产生平滑和逼真的结果，然而对于缺失区域较大的图像即使采用高计算成本仍不能获得逼真结果。为了解决这一问题，Barnes等人 ［ 26 26 ］ 提出了一种快速最邻计算的图像修复方法，大幅度的提高了计算速度，且能得到一个高质量的修复效果。尽管非学习方法对于表面纹理合成非常有效，但这些模型面对大面积缺失的图像具有一定的局限性。 基于学习的图像修复方法通常是利用深度学习和GAN策略实现残缺图像的修复。Deepak等人 ［ 27 27 ］ 提出了一种基于上下特征预测的图像修复方法，该方法通过上下文编码器提取整个图像的深度特征，并对缺失部分的生成做出合理假设。同时利用像素损失函数，使生成的结果更加清晰。然而，它在生成精细纹理时的效果并不理想。为了解决这一问题，Yu等人 ［ 29 29 ］ 提出了一种基于上下文注意的生成式图像修复。该模型包含一个上下文注意层，其原理是将已知补丁的特征信息作为卷积处理器，通过卷积设计将生成的补丁和已知的上下文补丁进行匹配，从而得到具有精细纹理的修复效果，但是该方法未考虑残缺区域的语义相关性和特征连续性问题。为了解决这一问题，Liu等人 ［ 22 22 ］ 提出了基于精细化深度学习的图像修复模型。该方法采用一种新的连贯语义层，并通过连贯语义层保留上下文语义情景结构，使其推测出来的残缺部分更加合理。 总体来看，现有修复方法仅是对场景内的特征进行深度卷积学习，在面对特征信息不足的残缺图像时，现有修复模型就会呈现出不能有效修复或修复效果精细纹理缺失的现象。因此本文结合自然知识，提出了基于场内外特征融合的残缺图像精细修复方法，其原理结构如 图2 图2 所示。 3 场内外特征融合图像修复算法 1 3.1 常识性知识的检索和嵌入 2 当图像目标特征严重缺失，造成数据严重不足时，现有的修复模型难以实现对其有效的修复。本文利用知识库中的常识性知识弥补原图像目标信息不足的问题。图像中目标是残缺的，由于特征信息的不足无法实现对其准确地修复。通过检测图像背景中存在的目标 <math id="M1"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872003&type= 1.94733346 3.80999994 ，根据知识库中相应的常识性知识，推测出与目标 <math id="M2"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872003&type= 1.94733346 3.80999994 具有高度相关性的目标集合，定义为 <math id="M3"><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871562&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871559&type= 21.42066574 4.91066647 ，该目标集合中的有效信息对整体缺失区域修复工作构成直接的引导作用。将依据常识性知识获取待修复区域高相似度目标集合的过程表示为： <math display="block" id="M4"><mi>β</mi><mover accent="false"><mo>→</mo><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi></mrow></mover><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871566&type= 37.25333405 4.91066647 . 目标集合 <math id="M5"><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>α</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871572&type= 20.74333191 4.91066647 是仅依据知识库中单一相似性对目标 <math id="M6"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872003&type= 1.94733346 3.80999994 的初步推理描述，知识库中还包含着大量对目标集合中每个元素 <math id="M7"><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871796&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871792&type= 2.96333337 3.72533321 的细节语义特征描述信息，这些细节语义信息的有效获取将极大弥补待修复目标信息不足的问题。在保证提取过程中目标特征描述与知识库中相应语义实体相匹配的基础上，本文对每个元素 <math id="M8"><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871796&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871792&type= 2.96333337 3.72533321 细节语义特征描述信息的嵌入过程表示为： <math display="block" id="M9"><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub><mover accent="false"><mo>→</mo><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></mover><mo stretchy="false">{</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871600&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871597&type= 42.33333206 4.31799984 ， 其中， <math id="M10"><mo stretchy="false">{</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871615&type= 24.04533195 4.48733330 是从知识库中检索到的对目标 <math id="M11"><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871796&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871792&type= 2.96333337 3.72533321 细节常识性描述。为了对检测到的常识性知识进行编码，本文将这些常识性描述 <math id="M12"><mo stretchy="false">{</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mrow><mi>m</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871615&type= 24.04533195 4.48733330 转换成单词序列 <math id="M13"><mo stretchy="false">{</mo><msup><mrow><mi>M</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi>M</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msup><mrow><mi>M</mi></mrow><mrow><mi>n</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871620&type= 26.83933067 3.80999994 ，并且通过 <math id="M14"><msup><mrow><mi>m</mi></mrow><mrow><mi>t</mi></mrow></msup><mo>=</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>e</mi></mrow></msub><msup><mrow><mi>M</mi></mrow><mrow><mi>t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871626&type= 17.52599907 3.97933316 的映射关系将句子中的每一个单词映射到一个连续的向量空间中。然后通过基于循环神经网络（RNN）的编码器对这些向量进行编码： <math display="block" id="M15"><msubsup><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>=</mo><mi>R</mi><mi>N</mi><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="normal">X</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo stretchy="false">)</mo><mo>,</mo><mi>t</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>j</mi><mo stretchy="false">]</mo><mo>,</mo><mi>i</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>n</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871636&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871633&type= 66.12466431 4.91066647 ， 其中： <math id="M16"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871643&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871639&type= 2.79399991 3.97933316 表示检索到的关于物体 <math id="M17"><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871796&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871792&type= 2.96333337 3.72533321 的第 i 句特征描述中第 j 个单词的映射向量， <math id="M18"><msubsup><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871655&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871652&type= 7.45066643 3.97933316 表示编码器的隐藏状态。同时将双向门控循环单元（ GRU ）引入到编码过程中，最终编码器的隐藏状态 <math id="M19"><msubsup><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871658&type= 2.70933342 3.97933316 表示第 j 个特征描述的句子的向量重现。同时将这些文本向量定义为场外特征 <math id="M20"><msub><mrow><mi>X</mi></mrow><mrow><mi>E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871688&type= 4.14866638 3.72533321 。 3.2 特征融合 2 从知识库中得到的常识性知识存储到知识存储单元的内存槽中，用于推理和知识的更新。将外部知识融入到目标特征提取的过程中，用来弥补原目标物特征的不足。将 k 个对象在知识库相对应特征的语义描述编码到神经网络，那么存储空间中就含有 <math id="M21"><mi>k</mi><mo>×</mo><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871674&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871669&type= 8.38199997 2.79399991 个相关的特征向量。但是，伴随储存空间特征向量的几何式增长，将极大增加从候选知识中提取有用信息的难度。为了解决这一问题，本文通过改进的DMN+算法实现基于情景问答的场外知识检索，获取最具相关性的待修复目标特征描述，其原理如 图3 图3 所示。 采用改进的DMN+算法对检索场外特征 <math id="M22"><msub><mrow><mi>X</mi></mrow><mrow><mi>E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871688&type= 4.14866638 3.72533321 进行推理，以获取其特征的描述集合 <math id="M23"><mo stretchy="false">{</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>E</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871698&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871695&type= 6.94266701 4.48733330 。利用DMN+模型的注意机制生成场内外特征融合的相关性约束。为保证模型对上下文信息的理解和原始输入的记忆，对DMN+的输入层进行改进，将残缺图像 <math id="M24"><msub><mrow><mi>I</mi></mrow><mrow><mi>g</mi><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871704&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871701&type= 2.96333337 3.72533321 输入到模型中，并有效的提取目标特征信息 <math id="M25"><mover accent="true"><mi mathvariant="bold-italic">o</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871712&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871708&type= 1.86266661 2.79399991 作为DMN+模型的第一层输入，第二层及以上层的输入为原始输入 <math id="M26"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">o</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871716&type= 6.18066692 3.72533321 和前一层输出 <math id="M27"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">u</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871728&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871723&type= 2.87866688 3.72533321 的总和，如 公式（4） 公式（4） 所示： <math display="block" id="M28"><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">o</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">u</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><mover accent="true"><mi mathvariant="bold-italic">o</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871732&type= 20.74333191 3.80999994 . 通过对上下文的学习，使提取到的特征之间进行信息交互，以获取更多的与目标信息相关的场外特征信息，更有利于实现图像的修复。将目标特征向量输入到全连层，其处理过程的具体公式如下： <math display="block" id="M29"><mi mathvariant="bold-italic">q</mi><mo>=</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">q</mi></mrow></msub><mo stretchy="false">(</mo><mover accent="true"><mi mathvariant="bold-italic">o</mi><mo>¯</mo></mover><mo>+</mo><msub><mrow><mover accent="true"><mi mathvariant="bold-italic">u</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">q</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871742&type= 45.29666519 4.65666676 ， <math display="block" id="M30"><msup><mrow><mi>z</mi></mrow><mrow><mi>t</mi></mrow></msup><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>∘</mo><mi mathvariant="bold-italic">q</mi><mo>:</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>∘</mo><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi mathvariant="bold-italic">t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>:</mo><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>-</mo><mi mathvariant="bold-italic">q</mi></mrow></mfenced><mo>:</mo><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>-</mo><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi mathvariant="bold-italic">t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871755&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871751&type= 70.69667053 5.67266655 ， <math display="block" id="M31"><msup><mrow><mi>f</mi></mrow><mrow><mi mathvariant="bold-italic">t</mi></mrow></msup><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msup><mrow><mi mathvariant="bold-italic">z</mi></mrow><mrow><mi mathvariant="bold-italic">t</mi></mrow></msup><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871768&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871764&type= 60.19800186 4.91066647 ， <math display="block" id="M32"><msup><mrow><mi>g</mi></mrow><mrow><mi>t</mi></mrow></msup><mo>=</mo><mi>A</mi><mi>G</mi><mi>R</mi><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>,</mo><msup><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871773&type= 31.49600029 4.91066647 ， 其中： <math id="M33"><mi mathvariant="bold-italic">q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871788&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871784&type= 1.94733346 3.64066648 表示目标 <math id="M34"><msub><mrow><mi>α</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871796&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871792&type= 2.96333337 3.72533321 映射后的目标向量， <math id="M35"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">q</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871804&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871800&type= 4.91066647 3.80999994 ， <math id="M36"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">q</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871813&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871808&type= 3.13266683 3.72533321 表示映射参数。 <math id="M37"><msup><mrow><mi>z</mi></mrow><mrow><mi>t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871823&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871816&type= 2.45533323 3.04800010 表示相关的场外特征 <math id="M38"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871898&type= 4.23333359 3.72533321 、模型情景记忆 <math id="M39"><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi mathvariant="bold-italic">t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871881&type= 7.36600018 3.04800010 和被映射的目标向量 <math id="M40"><mi mathvariant="bold-italic">q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871888&type= 1.94733346 3.64066648 之间的交互作用， <math id="M41"><mo>∘</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871855&type= 1.26999998 2.79399991 表示元素相乘的运算符号， <math id="M42"><mfenced open="|" close="|" separators="|"><mrow><mo>⋅</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871865&type= 3.38666677 3.97933316 表示元素的绝对值， <math id="M43"><mo stretchy="false">[</mo><mo>:</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871875&type= 4.23333359 3.55599999 表示是多个元素交互运算。值得说明的是，模型情景记忆 <math id="M44"><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi mathvariant="bold-italic">t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871881&type= 7.36600018 3.04800010 和被映射的目标向量 <math id="M45"><mi mathvariant="bold-italic">q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871888&type= 1.94733346 3.64066648 需要先通过复制扩展达到具有相同维度，才能与场外特征 <math id="M46"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871898&type= 4.23333359 3.72533321 进行交互运算。 <math id="M47"><msup><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871914&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871909&type= 2.62466669 3.89466691 表示softmax层的输出， <math id="M48"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871925&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871918&type= 4.91066647 3.80999994 ， <math id="M49"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871935&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871931&type= 4.91066647 3.80999994 ， <math id="M50"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871947&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871940&type= 3.04800010 3.72533321 和 <math id="M51"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871952&type= 3.04800010 3.72533321 表示的学习参数。 <math id="M52"><mi>A</mi><mi>G</mi><mi>R</mi><mi>U</mi><mo stretchy="false">(</mo><mo>•</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871961&type= 16.25600052 3.55599999 表示DMN+模型的注意机制，其机理是将 GRU 中的更新门用事实K的输出权重 <math id="M53"><msubsup><mrow><mi>f</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871978&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871972&type= 2.70933342 4.82600021 代替： <math display="block" id="M54"><msubsup><mrow><mi>g</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mi>G</mi><mi>R</mi><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>g</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msubsup><mrow><mi>f</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo stretchy="false">)</mo><msubsup><mrow><mi>g</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871983&type= 58.08132935 4.91066647 ， 其中： <math id="M55"><msubsup><mrow><mi>g</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21871995&type= 3.04800010 4.82600021 用来表示当所有对目标 <math id="M56"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872003&type= 1.94733346 3.80999994 的特征描述都被查看后的 GRU 状态。并通过注意力机制利用当前的状态和DMN+模型的情景记忆更新储存器的记忆状态，如 公式（10） 公式（10） 所示： <math display="block" id="M57"><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>t</mi></mrow></msup><mo>=</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi>L</mi><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">[</mo><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>:</mo><msubsup><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi>t</mi></mrow></msubsup><mo>:</mo><mi mathvariant="bold-italic">q</mi><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872020&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872015&type= 56.30332947 4.91066647 ， 其中， <math id="M58"><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>t</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872030&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872025&type= 3.72533321 3.04800010 表示更新后的情景记忆状态，通过记忆有用的知识信息来弥补原目标数据的不足。利用最终情景记忆挑选与目标信息相关的场外特征信息，如下所示： <math display="block" id="M59"><msub><mrow><mover accent="true"><mi>o</mi><mo>¯</mo></mover></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi>L</mi><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>;</mo><msup><mrow><mi mathvariant="bold-italic">m</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872041&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872034&type= 51.81600189 4.65666676 ， <math display="block" id="M60"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>f</mi></mrow></msub><mo>=</mo><mo stretchy="false">[</mo><mi mathvariant="bold-italic">X</mi><mo>,</mo><mo> </mo><mo> </mo><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>E</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872046&type= 20.91266632 4.65666676 ， 其中： <math id="M61"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872062&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872056&type= 4.65666676 3.80999994 和 <math id="M62"><msub><mrow><mi mathvariant="bold-italic">d</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872073&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872067&type= 3.21733332 3.72533321 表示学习参数， <math id="M63"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872078&type= 3.47133350 3.72533321 表示目标融合后的特征。从而利用外部知识丰富了残缺图像原有的特征信息，解决了缺失目标物特征信息不足的问题。 3.3 修复模型构建 2 本文所设计的残缺图像精细修复模型由三部分网络构成，即：场内外特征融合网络，粗修复网络和精细修复网络，其总体网络结构如 图4 图4 所示。将信息残缺的图像 <math id="M64"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872093&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872089&type= 2.87866688 3.72533321 输入到场内外特征融合网络，得到一个特征信息更加丰富的输出结果，并将其输入到粗修复网络，获取粗修复图像 <math id="M65"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872105&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872098&type= 2.11666679 3.72533321 。将待修复的图像 <math id="M66"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872115&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872110&type= 2.87866688 3.72533321 和粗修复图像 <math id="M67"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872127&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872120&type= 2.11666679 3.72533321 同时输入精细修复网络，通过提取叠加区域的有效特征信息，生成最终的精细修复图像 <math id="M68"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872140&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872132&type= 2.96333337 3.72533321 ，从而实现对残缺图像的精细修复。下面将着重描述粗修复网络和精细修复网络的模型构建过程。 3 . 3 . 1 粗修复网络设计 3 本文所设计的粗修复网络是基于对抗神经网络策略的修复模型。它是将编码器的每一层都与解码器的对应层特征相关联。利用编码器生成待修复图像的深度特征表示，并通过解码器预测出缺失区域信息。在图像修复模型中损失要优于现有的GAN损失，且与重建损失函数结合时会产生一个更好的效果。基于WGAN-GP网络获取生成数据和原始数据之间的Wasserstein-1分布比较距离。其目标函数为： <math display="block" id="M69"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>D</mi><mo>∈</mo><mi>L</mi></mrow></munder><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi mathvariant="normal">Ρ</mi></mrow><mrow><mi>r</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi>D</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><mover accent="true"><mi>x</mi><mo>¯</mo></mover><mo>~</mo><msub><mrow><mi mathvariant="normal">Ρ</mi></mrow><mrow><mi>g</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi>D</mi><mo stretchy="false">(</mo><mover accent="true"><mi>X</mi><mo>¯</mo></mover><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872171&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872165&type= 62.06066895 5.16466665 ， 其中： L 表示1-Lipschitz函数的集合， <math id="M70"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872176&type= 3.64066648 3.72533321 表示隐含 <math id="M71"><mover accent="true"><mi>x</mi><mo>¯</mo></mover><mo>=</mo><mi>G</mi><mo stretchy="false">(</mo><mi mathvariant="normal">z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872194&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872188&type= 14.81666565 3.55599999 中的模型分布， z 表示生成器的输入。 引入梯度惩罚约束条件，将梯度与输入掩膜相乘，其原理如下： <math display="block" id="M72"><mi>λ</mi><msub><mrow><mi>E</mi></mrow><mrow><mover accent="true"><mi>x</mi><mo>¯</mo></mover><mo>~</mo><mi mathvariant="normal">Ρ</mi><mmultiscripts><mrow/><mprescripts/><mrow><mover accent="true"><mi>x</mi><mo>¯</mo></mover></mrow><mrow/></mmultiscripts></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mo>∇</mo></mrow><mrow><mover accent="true"><mi>x</mi><mo>¯</mo></mover></mrow></msub><mi>D</mi><mo stretchy="false">(</mo><mover accent="true"><mi>x</mi><mo>¯</mo></mover><mo stretchy="false">)</mo><mo>⋅</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>M</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msup><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872202&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872197&type= 54.77933884 5.92666674 ， 其中： <math id="M73"><mover accent="true"><mi>x</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872215&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872210&type= 2.03200006 2.79399991 表示从 <math id="M74"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872229&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872223&type= 3.30200005 3.72533321 和 <math id="M75"><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872239&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872234&type= 3.64066648 3.72533321 采样点之间的直线采样， <math id="M76"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872245&type= 3.38666677 2.87866688 表示输入掩膜的数值，缺失像素的掩膜值为0，其它部分的掩膜值为1， <math id="M77"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872255&type= 1.77800000 2.79399991 表示权重。WGAN-GP网络中的Wasserstein-1距离表示为： <math display="block" id="M78"><mi>W</mi><mo stretchy="false">(</mo><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><munder><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi>γ</mi><mo>∈</mo><mo movablelimits="false">∏</mo><mo stretchy="false">(</mo><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo></mrow></munder><msub><mrow><mi>E</mi></mrow><mrow><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>~</mo><mi>γ</mi></mrow></msub><mo stretchy="false">[</mo><mfenced open="‖" close="‖" separators="|"><mrow><mi>x</mi><mo>-</mo><mi>y</mi></mrow></mfenced><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872271&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872266&type= 63.16133118 6.34999990 ， 其中： <math id="M79"><mo>∏</mo><mo stretchy="false">(</mo><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872276&type= 16.84866714 4.65666676 表示 <math id="M80"><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872293&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872286&type= 3.47133350 3.72533321 和 <math id="M81"><msub><mrow><mi>Ρ</mi></mrow><mrow><mi mathvariant="normal">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872302&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872298&type= 3.80999994 3.72533321 采样点分布集合的 <math id="M82"><mi>γ</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872312&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872307&type= 11.51466751 3.80999994 的边际。通过对以像素为单位测量距离进行损耗评估，并利用梯度惩罚约束条件训练和优化原始WGAN-GP网络的生成器，使其更易学习并匹配出待修复区域的有效信息，提升粗修复网络模型的稳定性。 3 . 3 . 2 精细修复网络设计 3 将待修复的图像 <math id="M83"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872322&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872317&type= 2.87866688 3.72533321 和粗修复图像 <math id="M84"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872334&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872327&type= 2.11666679 3.72533321 同时输入到精细修复网络中，以促使网络更快的捕获图像中有效的特征信息，极大地提高了修复网络的修复效果。精细修复模型的网络结构与粗修复模型的相似，不同的是为了增强残缺区域的语义相关性和特征连续性，提出了一种新的相关特征连贯层，并通过特征相关性对上下语义情景结构进行保留，使其推测出来的残缺部分更加合理，如 图5 图5 所示。 特征相关性分为搜索和生成两个阶段。对于修复区域 N 生成每一个补丁 <math id="M85"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872428&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872425&type= 2.62466669 3.72533321 （ <math id="M86"><mi>i</mi><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>,</mo><mi>k</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872363&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872360&type= 13.20800018 3.55599999 ， <math id="M87"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872366&type= 1.69333339 2.79399991 表示小补丁的个数），通过相关特征连贯层搜索与图像信息完整区域最匹配的补丁 <math id="M88"><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872422&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872420&type= 2.62466669 3.72533321 ，用于初始化 <math id="M89"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872428&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872425&type= 2.62466669 3.72533321 。并将 <math id="M90"><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872448&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872445&type= 2.62466669 3.72533321 作为主要的特征信息，与已经生成的补丁 <math id="M91"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872387&type= 6.18066692 3.72533321 融合，最终反向还原出 <math id="M92"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872428&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872425&type= 2.62466669 3.72533321 作为有效的修复补丁。补丁间的相关度判断如下式所示。 <math display="block" id="M93"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo>=</mo><mfrac><mrow><mfenced open="<" close=">" separators="|"><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>⋅</mo><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872400&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872397&type= 28.78666496 10.83733368 ， <math display="block" id="M94"><msub><mrow><mi>D</mi></mrow><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo>=</mo><mfrac><mrow><mfenced open="<" close=">" separators="|"><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></mrow><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced><mo>⋅</mo><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872403&type= 29.97200012 10.83733368 ， 其中： <math id="M95"><msub><mrow><mi>D</mi></mrow><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872429&type= 4.48733330 4.06400013 表示这个邻近补丁之间的相似性， <math id="M96"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872435&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872433&type= 6.94266701 4.06400013 表示最匹配的补丁 <math id="M97"><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872422&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872420&type= 2.62466669 3.72533321 和完整区域补丁 <math id="M98"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872428&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872425&type= 2.62466669 3.72533321 之间的相似性。将 <math id="M99"><msub><mrow><mi>D</mi></mrow><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872429&type= 4.48733330 4.06400013 和 <math id="M100"><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872435&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872433&type= 6.94266701 4.06400013 视为生成补丁的权重，这样每一个补丁都包含着先前补丁的信息。最终生成的补丁信息表示如下： <math display="block" id="M101"><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>n</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi><mi>i</mi><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">0</mn></mtd></mtr><mtr><mtd><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi><mi>i</mi></mrow></msub></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi><mi>i</mi></mrow></msub><mo>+</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi>i</mi></mrow></msub></mrow></mfrac><mo>×</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><mfrac><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi>i</mi></mrow></msub></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>a</mi><mi>i</mi></mrow></msub><mo>+</mo><msub><mrow><mi>D</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi>i</mi></mrow></msub></mrow></mfrac><mo>×</mo><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>i</mi><mo>∈</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo>,</mo><mi>k</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872438&type= 83.65066528 14.73200035 . 由于补丁的生成过程是一个迭代过程，每一个补丁在迭代的过程中均获得了更多的背景信息，且与之前生成的所有补丁（ <math id="M102"><msub><mrow><mi>n</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>~</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872444&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872442&type= 12.78466606 3.72533321 ）和 <math id="M103"><msub><mrow><mover accent="true"><mi>n</mi><mo>¯</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872448&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872445&type= 2.62466669 3.72533321 都具有相关性。将 <math id="M104"><mover accent="true"><mi>N</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872450&type= 2.87866688 3.38666677 中提取的补丁用作反卷积滤波器对N进行重建，从而获取更加逼真的修复结果。 为进一步提高图像修复的效果，本文引入特征修复识别器，通过识别器区分原始图像和已修复图像，并根据修复特征信息，计算出对抗损失函数 <math id="M105"><msub><mrow><mi>D</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872468&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872465&type= 4.82600021 3.72533321 和 <math id="M106"><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872469&type= 4.40266657 3.72533321 ，将 <math id="M107"><msub><mrow><mi>D</mi></mrow><mrow><mi>M</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872468&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872465&type= 4.82600021 3.72533321 用于精细修复网络， <math id="M108"><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872469&type= 4.40266657 3.72533321 用于粗修复网络。如 式（19） 式（19） 所示： <math display="block" id="M109"><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>=</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>D</mi></mrow><mrow><mi>M</mi></mrow></msub><mo>=</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">D</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872473&type= 73.32133484 11.34533310 ， 其中：D代表鉴别器， <math id="M110"><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872479&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872476&type= 4.23333359 4.06400013 表示所有真实取平均值的操作， <math id="M111"><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872484&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872482&type= 4.57200003 4.06400013 表示所有修复结果取平均值的操作。 3.4 修复模型的损失函数 2 为提高场内外特征融合网络检索相关场外特征的能力和优化注意机制参数，在采用改进的DMN+网络进行场内外特征融合时定义一个优化损失函数，如下式所示： <math display="block" id="M112"><msub><mrow><mi>L</mi></mrow><mrow><mi>d</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mover><mrow><mi>f</mi></mrow><mo>¯</mo></mover><mo>=</mo><mi>m</mi><mi>i</mi></mrow><mrow><mi>k</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>β</mi><mo>-</mo><msub><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>o</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>,</mo><msup><mrow><mi>m</mi></mrow><mrow><mi>t</mi></mrow></msup><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi mathvariant="normal">S</mi></mrow><mrow><mi>o</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>E</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">q</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872488&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872486&type= 71.54333496 9.14400005 ， 其中： <math id="M113"><msub><mrow><mi>S</mi></mrow><mrow><mi>O</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872491&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872490&type= 8.55133343 4.48733330 表示情景记忆和场外特征之间的匹配度， <math id="M114"><msub><mrow><mi>S</mi></mrow><mrow><mi>R</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872495&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872493&type= 8.46666718 4.48733330 表示场内特征和场外特征之间的匹配度。 在修复网络构建的过程中，现有的图像修复模型通常利用知觉损失提高图像修复网络的识别能力。但是，知觉损失容易误导相关语义连贯层的训练过程，本文引入一致性损失函数对现有损失函数的构建进行了改进。通过经预训练的VGG-16网络 ［ 30 30 ］ 提取原始图像的深度特征。并将残缺区域的原始深度特征设定为相关语义连贯层及其编码器对应层的目标，并计算出训练网络的一致性损失函数 <math id="M115"><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872498&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872496&type= 3.38666677 3.72533321 ，如下式所示： <math display="block" id="M116"><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><msubsup><mrow><msub><mo>∑</mo><mrow><mi>z</mi><mo>∈</mo><mi>M</mi></mrow></msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>W</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>i</mi><mi>r</mi></mrow></msub><msub><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>z</mi></mrow></msub><mo>-</mo><msub><mrow><mi>φ</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub><msub><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>z</mi></mrow></msub></mrow></mfenced></mrow></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>d</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>i</mi><mi>r</mi></mrow></msub><msub><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>z</mi></mrow></msub><mo>-</mo><msub><mrow><mi>φ</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub><msub><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>z</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872501&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872500&type= 92.37133789 6.43466663 ， 其中： <math id="M117"><msub><mrow><mi>ϕ</mi></mrow><mrow><mi mathvariant="normal">m</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872505&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872503&type= 3.97933316 4.57200003 表示经预训练的VGG-16网络参数。 <math id="M118"><mi>W</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872509&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872507&type= 8.55133343 3.55599999 表示编码器中相关特征连贯层的深度特征， <math id="M119"><msub><mrow><mi>W</mi></mrow><mrow><mi>d</mi></mrow></msub><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872512&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872511&type= 9.82133293 4.48733330 是解码器中相关特征连贯层对应层的深度特征。 将Wasserstein-1距离作为判断条件，构建出修复网络的损失函数如下式所示： <math display="block" id="M120"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>=</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi>I</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>-</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>o</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872516&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872514&type= 43.85733414 5.92666674 . 将式（19）~ 式（22） 式（22） 所构建的特征融合优化损失函数、训练网络一致性损失函数、修复网络损失函数和粗修复网络对抗损失函数进行加权平均，获取所提残缺图像精细修复模型的总体损失函数 <math id="M121"><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872518&type= 3.55599999 3.72533321 ，如下式所示： <math display="block" id="M122"><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>=</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>d</mi></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi>d</mi></mrow></msub><mo>+</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>c</mi></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>+</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>r</mi></mrow></msub><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>+</mo><msub><mrow><mi>α</mi></mrow><mrow><mi>R</mi></mrow></msub><msub><mrow><mi>D</mi></mrow><mrow><mi>R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872521&type= 52.23933029 3.80999994 ， 其中： <math id="M123"><msub><mrow><mi>α</mi></mrow><mrow><mi>d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872525&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872524&type= 3.30200005 3.72533321 ， <math id="M124"><msub><mrow><mi>α</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872526&type= 2.96333337 3.72533321 ， <math id="M125"><msub><mrow><mi>α</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872529&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872528&type= 2.87866688 3.72533321 ， <math id="M126"><msub><mrow><mi>α</mi></mrow><mrow><mi>R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872531&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872530&type= 3.55599999 3.72533321 分别为优化损失、一致性损失、修复损失、对抗损失的权衡参数。 4 实验结果及分析 1 为验证所提残缺图像精细修复模型的有效性，分别基于Places2 ［ 31 31 ］ ，Real-world Underwater Image Enhancement ［ 32 32 ］ 和Underwater Target数据集与现有的方法进行了定性和定量的对比实验，具体实验结果及分析如下。 4.1 实验设置 2 本文设计的实验基于Places2，Real-world Underwater Image Enhancement（RUIE）和Underwater Target三个数据集。在实验中不使用任何数据标签。为了模拟图像缺失的现象，本文将采用方形掩模对图像目标区域进行遮掩。同时对三个数据集的原始数据进行训练。学习率设置为 <math id="M127"><mn mathvariant="normal">2</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872532&type= 13.37733269 3.04800010 和 <math id="M128"><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.05</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872534&type= 13.46199989 3.80999994 。权衡参数设置为 <math id="M129"><msub><mrow><mi>α</mi></mrow><mrow><mi>d</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872536&type= 13.12333298 3.72533321 ， <math id="M130"><msub><mrow><mi>α</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872539&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872538&type= 12.78466606 3.72533321 ， <math id="M131"><msub><mrow><mi>α</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872542&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872541&type= 9.73666668 3.72533321 ， <math id="M132"><msub><mrow><mi>α</mi></mrow><mrow><mi>R</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872544&type= 17.10266685 3.72533321 。将本文所提EFIF算法与SH（Shift-net） ［ 3 3 ］ ，GLCI ［ 15 15 ］ ，CSA ［ 22 22 ］ 三个代表性算法模型进行对比。实验的硬件配置为：CPU为Intel（R） Core（TM） i7-8700K@3.70 GHz，GPU为RTX 2080 Ti。内存为64 G。运行环境为Python3.7，模型采用PyTorch库编写，操作系统为Ubuntu-16.04。 4.2 定性评价实验 2 4 . 2 . 1 Places2数据集实验结果 3 Places2数据集是由麻省理工大学负责维护的场景图像数据集。数据集涉及400多个场景，共包含1千万张图片。该数据集是图像修复领域广为应用的数据集之一。本文从数据集中选取大量的建筑、风景图片，用于训练和实验。 在Places2数据集中的仿真结果如 图6 图6 所示。最左边的一列为经过掩模处理后的输入图像，最右边一列是原始图像，中间分别为SH，GLCI，CSA和EFIF修复模型的修复结果。实验（a）~（c）为建筑图像的修复，实验（d）~（e）为风景图像修复。从实验结果可以得出本文提出的图像修复结果比其他修复模型的修复结果更能有效的修复目标的特征。同时在纹理重建方面也更加合理。 4 . 2 . 2 RUIE数据集实验结果 3 RUIE数据集是由大连理工大学—立命馆大学国际信息与软件学院提出的一个针对水下图像研究的数据集，具有图像数据量大，图像场景、色彩多样，检测目标丰富等特点。其常用于水下目标的检测与识别、水下图像的增强与复原。本文从RUIE数据集选取大量的水下雕塑，汽车残骸等进行仿真实验。与SH，GLCI和CSA图像修复模型作对比，其仿真结果如 图7 图7 所示。 从仿真结果来看实验（a）、实验（b）、实验（c）表示轻微模糊的场景实验。实验（d）、实验（e）和实验（f）表示严重模糊的场景实验。实验（b）中，SH模型的修复结果存在着目标丢失的现象。SH，GLCI和CSA修复模型在实验（a）、实验（b）、实验（e）、实验（f）的修复中均存在着修复区域模糊，并不能有效地修复缺失区域的纹理。实验（b）、实验（d）、实验（e）对应粗修复图像的修复区域纹理模糊现象。本文所提出的修复结果能够有效的修复缺失区域特征，且能够生成合理的图像纹理。如实验（c）、实验（e）所示修复的结果与原图十分接近。 4 . 2 . 3 Underwater Target数据集实验结果 3 Underwater Target数据集是本文研究团队针对水下图像所建立的数据集。主要用于水下复杂场景中特征提取、目标检测与识别、场景理解，为自主式水下航行器（Autonomous Underwater Vehicle， AUV）实现自主航行能力、目标识别与跟踪、自主规划路线和协同控制提供重要保障。在水下图像处理领域的研究中有着重要意义。其中包括鱼雷、潜艇、蛙人、AUV等类别。本文从Underwater Target数据集中选取大量的鱼雷、潜艇、AUV图像进行实验，与SH、GLCI和CSA图像修复模型对比。如 图8 图8 所示。从仿真结果来看实验（a）、实验（b）为不同场景下的鱼雷修复。其中实验（a）表清晰的场景，实验（b）表模糊的场景，实验（c）表示模糊的场景AUV的修复实验。实验（d）、实验（e）分别表示清晰、模糊场景下的潜艇的修复。实验（b）中，SH，GLCI模型修复的结果存在特征丢失现象。实验（a）、实验（d）中，粗修复图像存在修复区域纹理模糊的现象。本文模型能够更好的修复残缺区域，同时注重修复区域的纹理，如实验（b）、实验（c）本文修复结果接近于原图像。从而说明了本文模型更注重于结构和纹理的修复能力。 4.3 定量评价实验 2 4 . 3 . 1 定量评价指标 3 由于个体的差异、喜好等主观因素的影响，对实验结果的评价会在一定程度上存在片面性。为了获取更准确的修复结果的质量评价。在上述 式（22） 式（22） 修复网络的损失函数单一定量评价指标的基础上，本文引入峰值信噪比PSNR ［ 33 33 ］ 和结构相似性SSIM ［ 34 34 ］ 两个评价指标，对修复结果进行更加客观的定量评价。峰值信噪比是通过两张图像对应的像素点的误差评价图像的质量。其值越大表示图像的修复结果越好，如下式所示： <math display="block" id="M133"><mi>M</mi><mi>S</mi><mi>E</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">n</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><msup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>x</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>-</mo><mi>y</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872559&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872558&type= 58.84333038 8.89000034 ， <math display="block" id="M134"><mi>P</mi><mi>S</mi><mi>N</mi><mi>R</mi><mo>=</mo><mn mathvariant="normal">10</mn><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mi>M</mi><mi>A</mi><msup><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><mi>M</mi><mi>S</mi><mi>E</mi></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872561&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872560&type= 43.09533310 9.39799976 ， 其中： m ， n 表示图像尺寸的大小， <math id="M135"><mi>M</mi><mi>S</mi><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872562&type= 8.12800026 2.87866688 表示张图像之间的均方差。 <math id="M136"><mi>M</mi><mi>A</mi><msup><mrow><msub><mrow><mi>X</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872564&type= 11.59933376 3.97933316 表示图像中所取的最大值。 SSIM指标从图像的亮度、对比度以及结构信息衡量图像的结构相似性，从而评价图像的失真程度，其值越大说明失真越小，修复图像越接近于原始图像，如下式所示： <math display="block" id="M137"><mi mathvariant="normal">S</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">M</mi><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="normal">C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>δ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>+</mo><mi>C</mi><mmultiscripts><mrow><mo stretchy="false">)</mo></mrow><mprescripts/><mrow><mn mathvariant="normal">2</mn></mrow><mrow/></mmultiscripts></mrow><mrow><mo stretchy="false">(</mo><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msup><mrow><msub><mrow><mi>δ</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><msub><mrow><mi>δ</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872566&type= 66.29399872 8.80533314 ， 其中： <math id="M138"><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872568&type= 2.96333337 3.72533321 和 <math id="M139"><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872571&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872570&type= 2.87866688 3.72533321 分别为原图像和修复图像的平均值， <math id="M140"><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872572&type= 4.48733330 3.97933316 和 <math id="M141"><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872574&type= 4.40266657 3.97933316 分别表示原图像和修复图像的方差， <math id="M142"><msub><mrow><mi>δ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872577&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872576&type= 4.14866638 3.72533321 表示协方差， <math id="M143"><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872578&type= 3.72533321 3.72533321 ， <math id="M144"><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872580&type= 3.72533321 3.72533321 为用来维持稳定的常数。 4 . 3 . 2 定量评价实验结果 3 本文使用PSNR，SSIM和 <math id="M145"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872590&type= 3.38666677 3.72533321 损失作为定量评价的衡量指标，其中PSNR和SSIM能客观的反映模型修复残缺图像的性能。 <math id="M146"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872590&type= 3.38666677 3.72533321 用来测量修复图像和真实图像间的距离。本文修复模型与对比修复模型在Place2、RUIE和Underwater Target数据集中的PSNR，SSIM和 <math id="M147"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872590&type= 3.38666677 3.72533321 损失值，如 表1 表1 所示。从表中可以看出本文修复模型在Place2、RUIE和Underwater Target数据集取得了最优结果，PSNR值和SSIM值是最大的， <math id="M148"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872590&type= 3.38666677 3.72533321 损失是最低的。本文模型图像修复结果的PSNR值最高为35.98，相比CSA算法提高了2.17%。SSIM值最高为0.983，相比提高了1.08%。 <math id="M149"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872591&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872590&type= 3.38666677 3.72533321 损失最低为0.71，相对降低了6.96%。 2 数据集 2 掩码率 5 PSNR 5 SSIM 4 <math id="M150"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872593&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=21872592&type= 2.96333337 3.21733332 （%） SH GLCI CSA 粗修复 EFIF SH GLCL CSA 粗修复 EFIF SH GLCI CSA EFIF 4 Place2 10%-20% 31.34 31.27 33.36 31.03 34.87 0.906 0.911 0.989 0.905 0.987 1.02 1.00 0.78 0.71 20%-30% 30.24 31.79 32.85 30.08 33.12 0.893 0.897 0.982 0.894 0.983 1.57 1.31 0.98 0.94 30%-40% 21.96 24.17 25.16 21.35 24.51 0.886 0.891 0.926 0.887 0.931 2.74 2.36 1.29 1.23 40%-50% 20.39 22.18 24.51 20.40 24.84 0.832 0.853 0.873 0.829 0.894 3.67 3.24 2.85 2.46 4 RUIE 10%-20% 31.45 33.72 35.84 31.53 35.98 0.929 0.936 0.953 0.925 0.978 1.55 1.47 1.18 1.06 20%-30% 30.75 33.46 34.97 28.95 35.73 0.919 0.925 0.942 0.917 0.971 1.94 1.73 1.56 1.47 30%-40% 27.84 27.76 28.06 27.46 30.93 0.897 0.902 0.916 0.898 0.923 2.95 2.86 2.72 2.55 40%-50% 21.97 23.19 23.97 21.99 24.45 0.846 0.874 0.899 0.841 0.905 3.77 3.78 3.24 3.16 4 Underwater Target 10%-20% 24.83 25.01 25.42 24.67 27.01 0.913 0.928 0.936 0.915 0.949 1.65 1.44 1.11 1.09 20%-30% 24.36 24.72 25.31 24.21 26.75 0.904 0.916 0.929 0.899 0.935 2.04 1.96 1.54 1.44 30%-40% 20.48 21.14 22.07 20.83 22.35 0.884 0.890 0.907 0.881 0.916 3.27 2.98 2.73 2.49 40%-50% 15.39 15.04 16.42 15.46 16.91 0.862 0.876 0.890 0.868 0.891 4.41 4.04 3.27 3.03 Underwater Target数据集主要用于模糊、复杂水下场景中危险性目标的识别与重构。其特征提取难度极大，对修复算法有效性的挑战最为显著，本文将 图8 图8 每个仿真结果的PSNR、SSIM用柱状图的形式直观的展现出来，用以更加客观的展现所提修复模型面对复杂环境的修复效果，如 图9 图9 所示Underwater Targe数据集中本文所提算法PSNR最高为26.75，相比CSA算法提高了1.44。SSIM最高为0.935，相比CSA算法提高了0.006。从而可以得出所提算法的修复结果一致优于现有对比模型。 5 结 论 1 本文提出一种基于场内外特征融合的残缺图像精细修复方法。首先，通过改进的DMN+算法实现与目标相关外部知识和图像特征的融合；其次，将融合后的特征输入到带有梯度惩罚约束条件的对抗生成网络生成粗修复图像；最后，利用相关特征连贯层对粗修复图进一步优化，获取纹理清晰、特征连贯的精细修复图像。在三个复杂程度不同的数据集中进行实验验证。本算法在视觉定性对比和客观定量两方面均优于现有对比修复模型。图像修复结果的PSNR值最高为35.98，SSIM值最高为0.983。 伴随残缺区域的增大，所提算法修复效果衰减较为明显，在后续研究中将探索场内外特征自主加权融合策略，针对不同修复任务自适应决策场内外特征所占百分比，并将进一步深入研究所提修复算法在水下场景感知领域的应用。 参考文献 李志丹 ， 苟慧玲 ， 程吉祥 ， 等 . 结合梯度特征与色彩一致性的图像修复 ［J］. 光学 精密工程 ， 2019 ， 27 （ 1 ）： 251 - 259 . doi: 10.3788/ope.20192701.0251 http://dx.doi.org/10.3788/ope.20192701.0251 结合梯度特征与色彩一致性的图像修复 LI ZH D ， GOU H L ， CHENG J X ， et al . Image inpainting using gradient features and color consistency ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 1 ）： 251 - 259 . （in Chinese） . doi: 10.3788/ope.20192701.0251 http://dx.doi.org/10.3788/ope.20192701.0251 Image inpainting using gradient features and color consistency V V V ， A S R ， I M V ， et al . Video inpainting of complex scenes based on local statistical model ［J］. Electronic Imaging ， 2016 ， 2016（ 15 ）： 1 - 6 . doi: 10.2352/issn.2470-1173.2016.15.ipas-193 http://dx.doi.org/10.2352/issn.2470-1173.2016.15.ipas-193 Video inpainting of complex scenes based on local statistical model YAN Z Y ， LI X M ， LI M ， et al . Shift-net ： Image Inpainting Via Deep Feature Rearrangement ［M］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01264-9_1 http://dx.doi.org/10.1007/978-3-030-01264-9_1 Shift-net：Image Inpainting Via Deep Feature Rearrangement XIONG W ， YU J H ， LIN Z ， et al . Foreground-aware image inpainting ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 5833 - 5841 . doi: 10.1109/cvpr.2019.00599 http://dx.doi.org/10.1109/cvpr.2019.00599 Foreground-aware image inpainting NAZERI K ， NG E ， JOSEPH T ， et al . EdgeConnect： generative image inpainting with adversarial edge learning ［EB/OL］. 2019： arXiv ： 1901 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212 EdgeConnect： generative image inpainting with adversarial edge learning 00212［ cs . CV］ . https：//arxiv.org/abs/1901.00212 https://arxiv.org/abs/1901.00212 . doi: 10.1299/transjsme.18-00212 http://dx.doi.org/10.1299/transjsme.18-00212 CV］ EFROS A A ， LEUNG T K . Texture synthesis by non-parametric sampling ［C］. Proceedings of the Seventh IEEE International Conference on Computer Vision. 2027，1999 ， Kerkyra， Greece. IEEE ， 1999 ： 1033 - 1038 . doi: 10.1109/iccv.1999.790383 http://dx.doi.org/10.1109/iccv.1999.790383 Texture synthesis by non-parametric sampling BERTALMIO M ， VESE L ， SAPIRO G ， et al . Simultaneous structure and texture image inpainting ［J］. IEEE Transactions on Image Processing ， 2003 ， 12 （ 8 ）： 882 - 889 . doi: 10.1109/tip.2003.815261 http://dx.doi.org/10.1109/tip.2003.815261 Simultaneous structure and texture image inpainting CRIMINISI A ， PEREZ P ， TOYAMA K . Region filling and object removal by exemplar-based image inpainting ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 9 ）： 1200 - 1212 . doi: 10.1109/tip.2004.833105 http://dx.doi.org/10.1109/tip.2004.833105 Region filling and object removal by exemplar-based image inpainting LE MEUR O ， GAUTIER J ， GUILLEMOT C . Examplar-based inpainting based on local geometry ［C］. 2011 18th IEEE International Conference on Image Processing . 1114，2011 ， Brussels ， Belgium . IEEE ， 2011 ： 3401 - 3404 . doi: 10.1109/icip.2011.6116441 http://dx.doi.org/10.1109/icip.2011.6116441 Examplar-based inpainting based on local geometry 金炜 ， 王文龙 ， 符冉迪 ， 等 . 联合块匹配与稀疏表示的卫星云图修复 ［J］. 光学 精密工程 ， 2014 ， 22 （ 7 ）： 1886 - 1895 . doi: 10.3788/OPE.20142207.1886 http://dx.doi.org/10.3788/OPE.20142207.1886 联合块匹配与稀疏表示的卫星云图修复 JIN W ， WANG W L ， FU R D ， et al . Satellite cloud image inpainting based on patch matching and sparse representation ［J］. Opt. Precision Eng. ， 2014 ， 22 （ 7 ）： 1886 - 1895 . （in Chinese） . doi: 10.3788/OPE.20142207.1886 http://dx.doi.org/10.3788/OPE.20142207.1886 Satellite cloud image inpainting based on patch matching and sparse representation CHAN T F ， SHEN J H . Nontexture inpainting by curvature-driven diffusions ［J］. Journal of Visual Communication and Image Representation ， 2001 ， 12 （ 4 ）： 436 - 449 . doi: 10.1006/jvci.2001.0487 http://dx.doi.org/10.1006/jvci.2001.0487 Nontexture inpainting by curvature-driven diffusions CHAN T F ， SHEN J H ， VESE L . Variational PDE models in image processing ［R］. Defense Technical Information Center ， 2002 . doi: 10.21236/ada437477 http://dx.doi.org/10.21236/ada437477 Variational PDE models in image processing 朱为 ， 李国辉 . 基于自动结构延伸的图像修补方法 ［J］. 自动化学报 ， 2009 ， 35 （ 8 ）： 1041 - 1047 . doi: 10.3724/SP.J.1004.2009.01041 http://dx.doi.org/10.3724/SP.J.1004.2009.01041 基于自动结构延伸的图像修补方法 ZHU W ， LI G H . Image completion based on automatic structure propagation ［J］. Acta Automatica Sinica ， 2009 ， 35 （ 8 ）： 1041 - 1047 . （in Chinese） . doi: 10.3724/SP.J.1004.2009.01041 http://dx.doi.org/10.3724/SP.J.1004.2009.01041 Image completion based on automatic structure propagation 李志丹 ， 苟慧玲 ， 程吉祥 ， 等 . 结合梯度特征与色彩一致性的图像修复 ［J］. 光学 精密工程 ， 2019 ， 27 （ 1 ）： 251 - 259 . doi: 10.3788/ope.20192701.0251 http://dx.doi.org/10.3788/ope.20192701.0251 结合梯度特征与色彩一致性的图像修复 LI ZH D ， GOU H L ， CHENG J X ， et al . Image inpainting using gradient features and color consistency ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 1 ）： 251 - 259 . （in Chinese） . doi: 10.3788/ope.20192701.0251 http://dx.doi.org/10.3788/ope.20192701.0251 Image inpainting using gradient features and color consistency IIZUKA S ， SIMO-SERRA E ， ISHIKAWA H . Globally and locally consistent image completion ［J］. ACM Transactions on Graphics ， 2017 ， 36 （ 4 ）： 1 - 14 . doi: 10.1145/3072959.3073659 http://dx.doi.org/10.1145/3072959.3073659 Globally and locally consistent image completion DEKEL T ， GAN C ， KRISHNAN D ， et al . Sparse， smart contours to represent and edit images ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 3511 - 3520 . doi: 10.1109/cvpr.2018.00370 http://dx.doi.org/10.1109/cvpr.2018.00370 Sparse， smart contours to represent and edit images GOODFELLOW J ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial nets ［C］. In Advances in Neural Information Processing Systems ， Montreal， Canada， AIPS ， 2014 ： 2672 - 2680 . Generative adversarial nets GU J X ， ZHAO H D ， LIN Z ， et al . Scene graph generation with external knowledge and image reconstruction ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 1969 - 1978 . doi: 10.1109/cvpr.2019.00207 http://dx.doi.org/10.1109/cvpr.2019.00207 Scene graph generation with external knowledge and image reconstruction SAINBAYAR S ， SZLAM A ， JASON W ， et al . End-To-End memory networks ［C］. International Conference on Neural Information Processing Systems ， 2017 ： 2440 - 2448 . End-To-End memory networks CAIMING X ， STEPHEN M ， RICHARD S ， et al . Dynamic memory networks for visual and textual question answering ［C］. International Conference on International Conference on Machine Learning ， 2016 ： 2397 - 2406 . Dynamic memory networks for visual and textual question answering ZHENG C X ， CHAM T J ， CAI J F . Pluralistic image completion ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 1438 - 1447 . doi: 10.1109/cvpr.2019.00153 http://dx.doi.org/10.1109/cvpr.2019.00153 Pluralistic image completion LIU H Y ， JIANG B ， XIAO Y ， et al . Coherent semantic attention for image inpainting ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 4169 - 4178 . doi: 10.1109/iccv.2019.00427 http://dx.doi.org/10.1109/iccv.2019.00427 Coherent semantic attention for image inpainting YU J H ， LIN Z ， YANG J M ， et al . Generative image inpainting with contextual attention ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 5505 - 5514 . doi: 10.1109/cvpr.2018.00577 http://dx.doi.org/10.1109/cvpr.2018.00577 Generative image inpainting with contextual attention WU Q ， SHEN C H ， WANG P ， et al . Image captioning and visual question answering based on attributes and external knowledge ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 6 ）： 1367 - 1381 . doi: 10.1109/tpami.2017.2708709 http://dx.doi.org/10.1109/tpami.2017.2708709 Image captioning and visual question answering based on attributes and external knowledge KUMAR A ， IRSOY O ， ONDRUSKA P ， et al . Ask me anything： dynamic memory networks for natural language processing ［C］. International Conference on Machine Learning ， New York ， 2015 ， pp. 2068 - 2078 . Ask me anything： dynamic memory networks for natural language processing BARNES C E ， SHECHTMAN A ， GOLDMAN D B ， et al . Patchmatch： a randomized correspondence algorithm forstructural image editing ［J］. Transactions on Graphics ， 2009 ， 28 （ 3 ）： 1 - 11 . doi: 10.1145/1531326.1531330 http://dx.doi.org/10.1145/1531326.1531330 Patchmatch： a randomized correspondence algorithm forstructural image editing PATHAK D ， KRÄHENBÜHL P ， DONAHUE J ， et al . Context encoders： feature learning by inpainting ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 2536 - 2544 . doi: 10.1109/cvpr.2016.278 http://dx.doi.org/10.1109/cvpr.2016.278 Context encoders： feature learning by inpainting YANG C ， LU X ， LIN Z ， et al . High-resolution image inpainting using multi-scale neural patch synthesis ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 4076 - 4084 . doi: 10.1109/cvpr.2017.434 http://dx.doi.org/10.1109/cvpr.2017.434 High-resolution image inpainting using multi-scale neural patch synthesis RUSSAKOVSKY O ， DENG J ， SU H ， et al . ImageNet large scale visual recognition challenge ［J］. International Journal of Computer Vision ， 2015 ， 115 （ 3 ）： 211 - 252 . doi: 10.1007/s11263-015-0816-y http://dx.doi.org/10.1007/s11263-015-0816-y ImageNet large scale visual recognition challenge KAMALYAN A G ， SIMONYAN V V . On the number of solutions of a certain type of one-dimensional pseudodifferential equations in the Sobolev-Slobedetski space ［J］. Journal of Shellfish Research ， 2002 ， 21 （ 1 ）： 201 - 210 . On the number of solutions of a certain type of one-dimensional pseudodifferential equations in the Sobolev-Slobedetski space LIU Z W ， LUO P ， WANG X G ， et al . Deep learning face attributes in the wild ［C］. 2015 IEEE International Conference on Computer Vision （ICCV）. 713，2015 ， Santiago， Chile. IEEE ， 2015 ： 3730 - 3738 . doi: 10.1109/iccv.2015.425 http://dx.doi.org/10.1109/iccv.2015.425 Deep learning face attributes in the wild LIU R S ， FAN X ， ZHU M ， et al . Real-world underwater enhancement： challenges， benchmarks， and solutions under natural light ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2020 ， 30 （ 12 ）： 4861 - 4875 . doi: 10.1109/tcsvt.2019.2963772 http://dx.doi.org/10.1109/tcsvt.2019.2963772 Real-world underwater enhancement： challenges， benchmarks， and solutions under natural light WANG Y J ， LI J H ， LU Y ， et al . Image quality evaluation based on image weighted separating block peak signal to noise ratio ［C］. International Conference on Neural Networks and Signal Processing ， 2003 . Proceedings of the 2003. 1417，2003 ， Nanjing， China. IEEE ， 2003： 994 - 997 . doi: 10.1109/icnnsp.2003.1281036 http://dx.doi.org/10.1109/icnnsp.2003.1281036 Image quality evaluation based on image weighted separating block peak signal to noise ratio TUNCEL E ， FERHATOSMANOGLU H ， ROSE K . VQ-index： an index structure for similarity searching in multimedia databases ［C］. Proceedings of the tenth ACM international conference on Multimedia-MULTIMEDIA '02. December 1 - 6 ， 2002 .Juan-les-Pins， France. New York ： ACM Press ， 2002 ： 543 - 552 . doi: 10.1145/641007.641117 http://dx.doi.org/10.1145/641007.641117 VQ-index： an index structure for similarity searching in multimedia databases 10.37188/OPE.20212910.2481 TP394.1 A 1004-924X（2021）10-2481-14 徐涛,周纪勇,张国梁等.场内外特征融合的残缺图像精细修复[J].光学精密工程,2021,29(10):2481-2494. 徐涛,周纪勇,张国梁等.场内外特征融合的残缺图像精细修复[J].光学精密工程,2021,29(10):2481-2494. XU Tao,ZHOU Ji-yong,ZHANG Guo-liang,et al.Fine restoration of incomplete image with external features and image features[J].Optics and Precision Engineering,2021,29(10):2481-2494. XU Tao,ZHOU Ji-yong,ZHANG Guo-liang,et al.Fine restoration of incomplete image with external features and image features[J].Optics and Precision Engineering,2021,29(10):2481-2494. 国家重点研发计划资助项目（No. 2019YFB1311000）；河南省科技攻关资助项目（No. 212102210161，No. 182102210302）；河南省高等学校重点科研资助项目（No. 21A520013） 2021-03-25 2021-05-24 2021-10-15 2021-11-11 光学精密工程 10 29
FULL TEXT LINK 
OPE | Fine restoration of incomplete image with external features and image features
0
Views
29
Downloads
0
CSCD
Alert me when the article has been cited
文章被引用时，请邮件提醒。
Submit
Tools
Download
- L-PDFDownload
- WORDDownload
- Meta-XMLDownload
Export Citation
- BibTeXDownload
- EndnoteDownload
- RefMan Download
- NoteExpressDownload
- NoteFirstDownload
Add to favorites
Add to my album
Publicity Resources
Share with wechat friends or circle of friends
Related Articles
No data
Related Author
No data
Related Institution
No data
0
Bulk Citation
Export to
TOP