Joint transmission map estimation and image dehazing using dual vision attention network

双视觉注意网络的联合图像去雾和透射率估计 Joint transmission map estimation and image dehazing using dual vision attention network corresp first-author E-mail： yrfeng2020@163.com E-mail： yrfeng2020@163.com 冯燕茹（1985-），女，山西长治人，硕士，讲师。2011年于太原理工大学获得硕士学位。主要从事模式识别，网络工程和信息安全方面的研究。E-mail：yrfeng2020@163.com. http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333188&type= 22.01333618 32.00401306 冯燕茹 （1985-），女，山西长治人，硕士，讲师。2011年于太原理工大学获得硕士学位。主要从事模式识别，网络工程和信息安全方面的研究。E-mail： yrfeng2020@163.com . yrfeng2020@163.com 防灾科技学院 信息工程学院， 河北 三河 065201 防灾科技学院 信息工程学院， 河北 三河 065201 Department of Information Engineering， Institute of Disaster Prevention， Sanhe 065201， China Department of Information Engineering， Institute of Disaster Prevention， Sanhe 065201， China 为充分挖掘和利用透射率估计及图像去雾过程中捕获信息的相关性，提出了双视觉注意网络的联合图像去雾和透射率估计算法。它包括图像去雾层及透射率估计层，且各层均包含循环注意网络及编码解码网络。图像去雾层在透射率图的监督下，由循环注意网络生成雾浓度注意图，并引导后续的编码解码网络估计去雾结果。透射率估计层在真实无雾图像的监督下，由循环注意网络生成场景注意图，并引导后续的编码解码网络估计透射率。在此基础上，进一步利用循环单元实现图像去雾层及透射率估计层的信息交互，以便在估计场景注意图的过程中能利用到雾浓度信息，在预测雾浓度注意图的过程中能学习场景信息。实验表明算法在合成雾图及真实图像上均能取得较好的去雾效果，在视觉评价和客观评价方面均优于存在的去雾算法，单张雾图的处理时间仅为0.043 s。能有效用于图像去雾的工程实践中。 To fully exploit the dependency of information captured from transmission map estimation and image dehazing， this paper proposes a dual vision attention network for jointly estimating transmission map and clear image from hazy image. The network consists of an image dehazing layer and a transmission estimation layer， with each layer containing a recurrent attentive network and an encoder-decoder network. The haze attention map is generated in the image dehazing layer under the supervision of the transmission map in the recurrent attentive network and guides the subsequent encoder-decoder network to estimate the dehazing result. Similarly， with clear image supervision， the recurrent attentive network in the transmission estimation layer generates the scene attention map and guides the subsequent encoder-decoder network to predict the transmission map. Based on this architecture， we adopted the recurrent units in the two recurrent attentive networks to exchange hidden information. The haze concentration information can then be used to estimate the scene attention map， and the scene information can be used to predict the transmission map. The experimental results demonstrate that our method not only achieves a good dehazing effect on both synthetic and real images， but also outperforms the existing methods in terms of quality and quantity. The average processing time for a single hazy image is 0.043 s. Therefore， our method can be used in the engineering practice of image dehazing. 图像去雾 透射率估计 循环网络 双层神经网络 视觉注意 image dehazing transmission map estimation recurrent network dual neural network visual attention 1 引　言 1 受空气中悬浮颗粒（如雾，霾）的影响，捕获的户外图像会出现对比度低，色彩饱和度差，颜色偏移等图像退化问题，严重了影响了户外计算机视觉技术，如目标检测、目标识别、目标跟踪的发挥，进而增大了户外机器视觉任务的难度。因此，对雾天场景下获取的退化图像实施去雾处理具有重要的现实意义和应用场景 ［ 1 1 - 2 2 1-2 ］ 。 目前常用的图像去雾方法主要分为两类：一类为基于先验的去雾算法，一类为基于神经网络的去雾算法。基于先验的去雾算法利用先验信息估计大气散射物理模型中的透射率和大气光，从而求得清晰的去雾图像 ［ 3 3 - 4 4 3-4 ］ 。如He及韩昊男等人利用暗通道先验（Dark Channel Prior， DCP）在局部区域内计算透射率值 ［ 1 1 ， 5 5 ］ 。Berman等人发现图像中的像素点在RGB空间中可聚集成数百个颜色线，利用此非局部先验（Non Local Prior， NLP）估计透射率 ［ 6 6 ］ 。Meng等人利用边缘及纹理的约束先验（Boundary Constraint and Contextual Regularization， BCCR）来计算透射率 ［ 7 7 ］ 。然而统计获取的先验信息无法适用于所有的雾天场景，导致算法鲁棒性差，透射率估计存在误差。 随着深度学习的快速发展，基于神经网络的图像去雾算法广受关注 ［ 8 8 ］ 。如Cai等人提出了Dehazenet网络模型，学习雾图与透射率之间的映射关系 ［ 9 9 ］ 。Li等人提出了端到端的All-in-One Dehazing Network （AODN）网络模型直接从雾图中估计清晰图 ［ 10 10 ］ 。Qu等人提出了Enhanced Pix2pix Dehazing Network （EPDN）网络模型，利用生成器估计去雾结果，使用辨别器监督EPDN模型的中间过程 ［ 11 11 ］ 。Liu等人提出了GridDehazeNet （GridDN），它模仿传统图像处理算法，在网络模型中加入预处理模块及后期处理模块来实施图像去雾 ［ 12 12 ］ 。虽然上述网络模型较基于先验的去雾算法具有更好的鲁棒性，但网络的构建缺乏物理约束，未将大气散射物理模型融入到网络的构建中，限制了网络的性能。Zhang等人提出了Densely Connected Pyramid Dehazing Network （DCPDN）模型，它利用生成器生成透射率和大气光，再利用辨别器细化大气散射模型估计的去雾结果 ［ 13 13 ］ 。随后，Zhang等人提出的Joint Transmission Map Estimation and Dehazing Network （JTED） 联合网络模型，将U型网络估计的透射率视为雾浓度先验，以引导后续网络注意浓雾区域，有效实施去雾 ［ 14 14 ］ 。 虽然上述网络模型的构建嵌入了大气散射物理模型，但透射率估计与图像去雾的相互关系并未深入探索。实际上，透射率的估计过程和图像的去雾过程相互依赖，从透射率估计过程中获得的雾浓度信息可用于图像去雾。反之，去雾过程中获得的无雾场景信息又可以进一步指导与场景深度相关的透射率估计。受注意机制的启发，本文提出了双视觉注意网络模型，它包含两个结构相同的单循环注意网络层，分别为图像去雾层及透射率估计层。对于每个单循环注意网络又包含循环注意网络和编码解码网络。考虑到雾气可以看成不同深度的雾层累积而成，对于图像去雾层，可在真实透射率图的监督下，利用循环注意网络估计雾浓度注意图，将其注入到后续的编码解码网络以引导网络感知雾的信息，准确实施去雾。同样，对于透射率估计层，在真实无雾图像的监督下，可利用循环注意网络估计场景注意图，注入到编码解码网络，以引导网络感知场景信息，准确估计透射率。其中，为了更深入地探索和挖掘透射率估计与图像去雾过程中捕获信息的相关性，在图像去雾层及透射率估计层的循环注意网络间实施信息交互，使得雾浓度注意图和场景注意图在信息互补的方式下生成。 综上，本文的主要贡献如下：（1）提出了双视觉注意网络模型，它包含图像去雾层及透射率估计层。（2）在图像去雾层中，循环注意网络生成的雾浓度注意图被注入到编码解码网络中，引导该网络感知雾浓度，实现去雾。在透射率估计层中，循环注意网络生成的场景注意图被注入到编码解码网络中，引导该网络感知场景，更好地估计透射率。（3）图像去雾层的循环注意网络及透射率估计层的循环注意网络通过循环单元实现信息交互，在信息互补的方式下生成雾浓度注意图和场景注意图。实验结果表明，本文算法较已有去雾算法具有更高的效率和精度。 2 双视觉注意网络的联合图像去雾和透射率估计 1 如 图1 图1 所示，双视觉注意网络包含两层：用于估计透射率的 l t 层和用于预测去雾结果的 l d 层。 l t 层和 l d 层具有相同的网络结构，即均包含循环注意网络和编码解码网络。其中，红色和黑色的虚线均为省略循环操作中的连接（彩图见期刊电子版）。循环注意网络用于生成视觉注意图，以引导后续的编码解码网络预测相应的结果。这里，为了让 l d 层能感知雾的浓度，采用透射率来监督 l d 层的循环注意网络生成雾浓度注意图，并引导后续的编码解码网络实现去雾。相关操作如下： <math display="block" id="M1"><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>=</mo><msub><mrow><mi>H</mi></mrow><mrow><mi>d</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><mi>I</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333198&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333194&type= 29.04066658 4.65666676 ， <math display="block" id="M2"><mi mathvariant="bold-italic">I</mi><mi mathvariant="normal">'</mi><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>d</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><mi mathvariant="bold-italic">t</mi><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333206&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333202&type= 23.36800003 4.82599974 ， 其中： H d 和 E d 分别为 l d 层的循环注意网络函数和编码解码网络函数；［ ］为级联操作； I 为初始雾图； I ′为去雾结果； t n 与 t n -1 为第 n 及第 n -1次循环时 H d 输出； t 为 H d 最终输出的雾浓度注意图。 另一方面，考虑到透射率与场景的深度相关，清晰的场景能为透射率的估计提供更准确的深度信息，利用清晰无雾图像监督 l t 层的循环注意网络产生场景注意图，并将其注入后续的编码解码网络，使其感知场景信息，估计透射率。操作如下： <math display="block" id="M3"><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>=</mo><msub><mrow><mi>H</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><mi>I</mi><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi></mrow></msup><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333223&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333220&type= 32.93533325 4.65666676 ， <math display="block" id="M4"><mi mathvariant="bold-italic">T</mi><mi mathvariant="normal">'</mi><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>T</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><mi mathvariant="bold-italic">b</mi><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333231&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333228&type= 25.48466682 4.82599974 ， 其中： H t 和 E t 分别为 l t 层的循环注意网络函数和编码解码网络函数； T ′ 为透射率估计结果； b n 与 b n -1 为第 n 次及第 n -1次循环时 H t 的输出； b 为 H t 最终输出的场景注意图。 值得一提的是， 公式（3） 公式（3） 不同于 公式（1） 公式（1） ， H t 不但输入了上次循环输出的 b n -1 及初始雾图 I ，还输入了 H d 在第 n 次循环时输出的 t n 。此设计充分挖掘了 t n 与 b n 的关联性，利用雾浓度注意图 t n 引导 H t 感知雾层的浓度，以有效估计背景注意图 b n 。此外，更利用 l t 层及 l d 层中LSTM循环单元实现 H t 及 H d 的信息交互（见 图1 图1 中红线），使得在估计场景注意图的过程中能利用到雾浓度信息，在预测雾浓度注意图的过程中能学习场景信息，从而形成高效的双循环注意网络。 2.1　双循环注意网络 2 雾气可以看成不同深度的雾层累积而成，因此采用循环网络结构逐层提取雾的信息生产雾浓度注意图及场景注意图，不但符合物理假设，还能不断校正上次循环时的估计误差。 如 图2 图2 所示， l t 和 l d 层中的 H t 和 H d 均有相同的网络结构，并由以下模块组成：2个稠密残差模块Resblock ［ 15 15 ］ ，1个LSTM循环单元 ［ 16 16 ］ 及1个映射层Map，每个Resblock包含2个核为3×3的卷积层。为了使 H t 和 H d 能利用彼此捕获的信息帮助对方的循环网络生成准确的注意图，这里采用LSTM循环单元来实现双循环注意网络的隐藏信息交互。故 公式（3） 公式（3） l t 层中的循环注意网络 H t 可进一步表示为： <math display="block" id="M5"><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333241&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333236&type= 34.62866592 4.65666676 ， <math display="block" id="M6"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>h</mi></mrow></msubsup><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333246&type= 47.07466888 4.65666676 ， <math display="block" id="M7"><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333259&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333254&type= 21.08199883 4.65666676 ， 其中： F rest ， F lstmt 和 F mapt 分别为 H t 中稠密残差模块函数，LSTM函数及映射层函数； <math id="M8"><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333267&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333263&type= 2.53999996 3.97933340 为第 n 次循环时， F rest 函数的输出； <math id="M9"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333273&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333271&type= 3.38666677 3.97933340 和 <math id="M10"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333281&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333277&type= 2.79399991 3.97933340 为第 n 次循环时， H t 中LSTM的隐藏状态及记忆单元信息； <math id="M11"><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333283&type= 2.45533323 3.04799986 第 n 次循环时 F mapt 的输出。从 公式（6） 公式（6） 可见，第 n 次循环时 H d 的隐藏状态 <math id="M12"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>h</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333290&type= 3.47133350 3.97933340 与 H t 产生的 <math id="M13"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333299&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333295&type= 6.85800028 3.97933340 ， <math id="M14"><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333305&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333301&type= 2.53999996 3.97933340 级联，共同作为 F lstmt 的输入。 与此类似， 公式（1） 公式（1） l d 层中的循环注意网络 H d 可进一步表示为： <math display="block" id="M15"><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333323&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333319&type= 31.24200058 4.65666676 ， <math display="block" id="M16"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">]</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333329&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333326&type= 44.61933136 4.65666676 ， <math display="block" id="M17"><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333333&type= 22.09799957 4.65666676 ， 其中： F resd ， F lstmd 和 F mapt 分别为 H d 中稠密残差模块函数，LSTM函数及映射层函数； <math id="M18"><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333344&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333340&type= 2.70933342 3.97933340 为第 n 次循环时， F resd 函数的输出； <math id="M19"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333351&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333348&type= 3.47133350 3.97933340 和 <math id="M20"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333360&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333354&type= 2.96333337 3.97933340 为第 n 次循环时， H d 中LSTM的隐藏状态及记忆单元信息； b n 第 n 次循环时 F mapd 的输出。同样，采用第 n 次循环时 H t 的隐藏状态 <math id="M21"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333366&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333364&type= 3.38666677 3.97933340 与 H d 产生的 <math id="M22"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333374&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333370&type= 6.85800028 3.97933340 ， <math id="M23"><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333378&type= 2.70933342 3.97933340 级联，共同作为 F lstmd 的输入。 由此， H t 和 H d 进行了信息交互， H t 通过LSTM引入 h d 来补充学习估计背景注意图 b 时所需的雾浓度信息，而 H d 通过LSTM引入 h t 来补充学习估计雾浓度注意图 t 时所需的场景信息，从而形成信息充分挖掘和利用的双循环注意网络。 这里选用卷积LSTM循环单元来实现 F lstmt 及 F lstmd 。以 F lstmt 为例，其卷积LSTM如 图3 图3 所示，包含输入门 P ，输入门控制单元 G ，遗忘门控制单元 R ，输出门控制单元 O 和记忆单元 C ，且 P ， O ， G ， R 均利用3个卷积层来处理接收的特征。其中，输入门 P 和输入门控制单元 G 共同控制进入记忆单元的信息 C ；遗忘门控制单元 R 控制着记忆单元 C 中的信息被保留或被删除；输出门控制单元 O 控制从卷积LSTM中输出信息。 F lstmt 可进一步表示为： <math display="block" id="M24"><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">p</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">p</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333389&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333385&type= 74.25267029 5.58799982 ， <math display="block" id="M25"><msubsup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">r</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">r</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333408&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333403&type= 72.98266602 5.58799982 ， <math display="block" id="M26"><msubsup><mrow><mi>g</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">g</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">g</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333415&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333410&type= 73.82933807 5.58799982 ， <math display="block" id="M27"><msubsup><mrow><mi>o</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333419&type= 74.25267029 5.58799982 ， <math display="block" id="M28"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>·</mo><msubsup><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msubsup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>·</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333426&type= 31.24200058 4.82599974 ， <math display="block" id="M29"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">o</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>·</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333437&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333434&type= 26.07733345 4.65666676 ， 其中： <math id="M30"><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333444&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333441&type= 3.04799986 4.82599974 ， <math id="M31"><msubsup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333449&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333447&type= 3.13266659 3.97933340 ， <math id="M32"><msubsup><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333455&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333452&type= 3.47133350 4.82599974 ， <math id="M33"><msubsup><mrow><mi mathvariant="bold-italic">o</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333462&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333460&type= 3.04799986 3.97933340 为第 n 次循环时 H t 中LSTM的 P ， R ， G ， O 输出； <math id="M34"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333470&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333466&type= 6.26533318 3.97933340 和 <math id="M35"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333476&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333472&type= 2.79399991 3.97933340 为第 n -1次和第 n 次循环时LSTM中记忆单元 C 的输出； <math id="M36"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333482&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333479&type= 6.85800028 3.97933340 为第 n -1次循环时 l t 层LSTM的隐藏状态； <math id="M37"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333489&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333486&type= 3.47133350 3.97933340 为第 n 次循环时 l d 层LSTM的隐藏状态； w * 为卷积核（ * 为各门及控制单元卷积）， b * 为偏移； <math id="M38"><mo>⊙</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333496&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333493&type= 3.72533321 3.47133350 为卷积操作；·为点乘操作； <math id="M39"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333500&type= 1.69333339 2.79399991 为sigmoid函数；tanh为tanh函数。 与此类似， F lstmd 可进一步表示为： <math display="block" id="M40"><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">p</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">p</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333510&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333506&type= 73.32133484 5.58799982 ， <math display="block" id="M41"><msubsup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">r</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">r</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333516&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333514&type= 72.30532837 5.58799982 ， <math display="block" id="M42"><msubsup><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">g</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">g</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">g</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333520&type= 72.64399719 5.58799982 ， <math display="block" id="M43"><msubsup><mrow><mi mathvariant="bold-italic">o</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">d</mi></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msub><mrow><mi>w</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow></msub><mo>⊙</mo><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">d</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333529&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333526&type= 73.06733704 5.58799982 ， <math display="block" id="M44"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>·</mo><msubsup><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>+</mo><msubsup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>·</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333534&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333531&type= 31.41133308 4.82599974 ， <math display="block" id="M45"><msubsup><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">o</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo>·</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333539&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333537&type= 26.50066566 4.65666676 ， 其中： <math id="M46"><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333545&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333542&type= 3.04799986 4.82599974 ， <math id="M47"><msubsup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333550&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333548&type= 3.13266659 3.97933340 ， <math id="M48"><msubsup><mrow><mi mathvariant="bold-italic">g</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333556&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333553&type= 3.47133350 4.82599974 ， <math id="M49"><msubsup><mrow><mi mathvariant="bold-italic">o</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333560&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333558&type= 3.21733332 3.97933340 为第 n 次循环时 H d 中LSTM的 P ， O ， G ， R 的输出； <math id="M50"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333564&type= 6.26533318 3.97933340 和 <math id="M51"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333572&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333570&type= 2.96333337 3.97933340 为第 n -1次和第 n 次循环时LSTM中记忆单元 C 的输出。 在训练的过程中，使用真实无雾图监督 H t 产生场景注意图 b ，使用真实透射率监督 H d 产生雾浓度注意图 t 。 H t 和 H d 均使用标准的 L 2 损失函数，故双循环网络的损失函数 L r 定义如下： <math display="block" id="M52"><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">3</mn></mrow></munderover></mstyle><mrow><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>-</mo><mi mathvariant="bold-italic">T</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">3</mn></mrow></munderover></mstyle><mrow><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>-</mo><mi mathvariant="bold-italic">J</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333576&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333574&type= 53.59399796 8.38199997 ， 其中： <math id="M53"><msup><mrow><mi mathvariant="bold-italic">t</mi></mrow><mrow><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333579&type= 2.45533323 3.04799986 及 <math id="M54"><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333587&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333584&type= 2.96333337 3.04799986 为第 n 次循环时双循环网络输出的雾浓度注意图和场景注意图； J 为对应的真实无雾图； T 为真实透射率。如 公式（23） 公式（23） ，实验中设置双循环注意网络循环次数 n 为3。 2.2　编码解码网络 2 由双循环注意网络生成的雾浓度注意图 t 及场景注意图 b 被视为视觉注意先验，分别注入后续的编码解码网络，以便网络感知雾的浓度及场景信息，更准确地预测去雾图像及透射率。如 图1 图1 所示， l d 层的编码解码网络 E d 及 l t 层的编码解码网络 E t 具有相同的网络结构，即编码器包含4个核为3×3，步长分别为5，2，2，2的卷积层Conv，解码器包含3个核为1×1，步长为2的反卷积层Deconv，以及1个核为3×3，步长为1的卷积层。故 公式（2） 公式（2） 中 E d 函数可进一步表示为： <math display="block" id="M55"><msub><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><mi>d</mi></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">4</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">t</mi><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333590&type= 62.14533615 4.48733330 ， <math display="block" id="M56"><mi mathvariant="bold-italic">I</mi><mi mathvariant="normal">'</mi><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">5</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><mi>d</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333595&type= 59.26666641 5.07999992 ， 式中： <math id="M57"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mi>x</mi><mo>,</mo><mi>x</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mn mathvariant="normal">4</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333604&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333601&type= 22.09799957 3.72533321 分别为 l d 层编码器中4个卷积函数； <math id="M58"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">5</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333610&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333607&type= 8.46666718 3.72533321 代表 l d 层解码器中最后的卷积函数； <math id="M59"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mi>x</mi><mo>,</mo><mi>x</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333612&type= 17.94933319 3.72533321 代表 l d 层解码器中3个反卷积层函数； e d 为 l d 层编码器的输出； <math id="M60"><mi mathvariant="bold-italic">I</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333618&type= 2.20133328 3.30199981 为最终的去雾结果。 同理， 公式（4） 公式（4） 中 E t 函数可进一步表示为： <math display="block" id="M61"><msub><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">4</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">b</mi><mo>,</mo><mi mathvariant="bold-italic">I</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333627&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333625&type= 62.31466675 4.48733330 ， <math display="block" id="M62"><mi mathvariant="bold-italic">T</mi><mi mathvariant="normal">'</mi><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">5</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333629&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333628&type= 59.85932922 5.07999992 ， 其中： <math id="M63"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mi>x</mi><mo>,</mo><mi>x</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mn mathvariant="normal">4</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333633&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333631&type= 22.09799957 3.72533321 分别为 l t 层编码器中4个卷积函数； <math id="M64"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mn mathvariant="normal">5</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333634&type= 8.46666718 3.72533321 代表 l t 层解码器中最后的卷积函数； <math id="M65"><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">d</mi><mi>x</mi><mo>,</mo><mi>x</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333642&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333641&type= 17.94933319 3.72533321 代表 l t 层解码器中3个反卷积层函数； e t 为 l t 层编码器的输出； <math id="M66"><mi mathvariant="bold-italic">T</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333647&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333645&type= 3.30199981 3.30199981 为透射率估计结果。 3 损失函数 1 模型的训练通过最小化 L 2 函数来计算网络估计结果与真实结果间的差异。假设 <math id="M67"><mi mathvariant="bold-italic">I</mi><msub><mrow><mi mathvariant="normal">'</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333651&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333649&type= 2.96333337 4.23333359 和 <math id="M68"><msub><mrow><mi mathvariant="bold-italic">J</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333655&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333652&type= 2.53999996 3.72533321 ， i =1，2，...， m 为一组合成雾图和真实无雾图。 <math id="M69"><mi mathvariant="bold-italic">T</mi><msub><mrow><mi mathvariant="normal">'</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333658&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333656&type= 4.14866638 4.23333359 和 <math id="M70"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333663&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333661&type= 3.38666677 3.72533321 ， i =1，2，...， m 为一组合成图像的透射率和真实透射率，则对应的损失函数为 L e 可表示为： <math display="block" id="M71"><msub><mrow><mi>L</mi></mrow><mrow><mi>e</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>m</mi></mrow><mrow><mi>i</mi><mo>=</mo><mi>m</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msub><mrow><mi>I</mi><mi>'</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>J</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mo>+</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>i</mi><mo>=</mo><mi>m</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msub><mrow><mi>T</mi><mi>'</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333666&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333665&type= 61.38333511 8.38199997 . 结合双循环注意网络的损失函数 L r ，双视觉注意网络的总损失函数 L 定义如下： <math display="block" id="M72"><mi>L</mi><mo>=</mo><mi>a</mi><msub><mrow><mi>L</mi></mrow><mrow><mi>r</mi></mrow></msub><mo>+</mo><mi>b</mi><msub><mrow><mi>L</mi></mrow><mrow><mi>e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=16333668&type= 22.43666649 3.81000018 ， 其中： a 和 b 为 L r 和 L e 两项的平衡系数，默认设置 a =1， b =1。 4 实验结果与分析 1 本文算法在NVIDIA RTX 2080 Ti GPU的硬件环境下，应用Pytorch深度学习框架搭建网络实现。优化算法选用 β 1 =0.999， ε =10 -8 的随机梯度下降算法。为验证本文算法的有效性，在合成雾图及真实雾图上对算法的性能进行验证，并将本文算法与基于先验的去雾算法和基于神经网络的去雾算法相对比。 4.1　数据集 2 不同于已有的去雾网络 ［ 17 17 ］ ，本网络模型的训练集需要包含雾图，清晰图及透射率，故利用RESIDE数据集 ［ 18 18 ］ 和NYU-depth2数据集 ［ 19 19 ］ 创建包含室内和室外图像的数据集。对于室内雾图，从NYU-depth2中选取5 000张图，并在大气光 A ∈［0.5，1］，散射系数 β =｛0.4，1.6｝的范围内合成数据集。对于室外图像，从RESIDE数据集中选取5 000张图，并在 A ∈［0.8，1.0］， β ∈｛0.04，0.06，0.08，0.1，0.12，0.16，0.2｝范围内合成相应的雾图及透射率。其中，5 000张室内图像对和5 000张室外图像对构成训练集。1 000张室内图像对和1 000张室外图像对构成测试集 A 。另一方面，包含500张室内图像及500张室外图像的公共测试集SOTS ［ 17 17 ］ 也用来测试算法鲁棒性。 4.2　模型参数分析 2 模型中双循环注意网络的循环次数 n ，总损失函数中平衡系数 a 和 b 的选取尤为重要，它将直接影响模型去雾的精度及收敛效率。此小节将讨论 n ， a 和 b 取值的合理性。首先，在保持 a 和 b 值为1的基础上，设置循环次数 n 分别为2，3，4，5，对应模型在SOTS测试集上测得去雾结果的SSIM值如 表1 表1 所示。从中可见，随着 n 的增长，SSIM值逐渐提高，但在 n 为3时，模型的性能趋于稳定。为了平衡模型的去雾精度及计算成本，本文中循环次数 n 设置为3。在此基础上，进一步分别设置 a 和 b 值为0.5，1和1，0.5，从 表3 表3 可见，这两种参数设置下的SSIM值均小于 n 为3， a 和 b 均为1时模型的SSIM值0.974。 图4 图4 为 a 和 b 不同设置下对应的模型，在训练0到180时期时，SOTS测试集上测得的SSIM曲线，从中可见当 a =1， b =1，网络模型在40时期时开始收敛，而当 a =0.5， b =1和 a =1， b =0.5时，模型分别在75时期和94时期开始收敛，故 a =1， b =1时模型收敛更快。因此本文设置 n 为3， a 和 b 均为1。 n =2 n =3 n =4 n =5 a =0.5， b =1 a =1， b =0.5 0.972 0.974 0.974 0.974 0.973 0.971 DCP BCCR JTED DCPDN l t 层 本文算法 室内 0.871 0.852 0.952 0.961 0.965 0.971 室外 0.858 0.830 0.944 0.949 0.957 0.969 2 SOTS 2 室内图像 2 室外图像 PSNR SSIM PSNR SSIM PSNR SSIM JTED 21.57 0.914 21.89 0.923 22.77 0.892 EPDN 22.57 0.863 24.05 0.934 20.77 0.904 GridDN 30.86 0.981 24.78 0.965 30.36 0.983 DCPDN 17.89 0.831 29.22 0.954 28.10 0.928 l d 层 30.23 0.961 30.88. 0.973 29.87 0.969 本文算法 31.11 0.974 31.45 0.978 30.56 0.971 4.3　透射率结果对比 2 为验证双视觉注意网络估计透射率的有效性，本文不但选用了DCP ［ 5 5 ］ ，BCCR ［ 7 7 ］ ，JTED ［ 14 14 ］ ，DCPDN ［ 13 13 ］ 算法进行结果对比，还将双视觉注意网络的 l d 层去除，获得仅有 l t 层的单视觉注意网络模型进行性能对比。不同算法在测试集A的室内和室外图像上估计透射率的平均SSIM值如 表2 表2 所示，从中可见本文算法无论在室内图像还是室外图像上均具有最高的SSIM值，透射率估计的准确度较高。 4.4　合成图像去雾结果对比 2 为验证本文算法去雾的有效性，选用JTED ［ 14 14 ］ ，EPDN ［ 11 11 ］ ，GridDN ［ 12 12 ］ ，DCPDN ［ 13 13 ］ 算法及 l d 层的单视觉注意网络模型进行对比。视觉结果如 图5 图5 所示，从中可见，JTED的结果仍存在雾残余，如 图5 图5 （b）的第2行中，桌椅区域仍存在去雾不彻底的现象。EPDN及GridDN算法虽能有效去除雾气，但部分区域存在颜色失真，如 图5 图5 （c）第2行的墙面及 图5 图5 （d）第1行的天空区域均出现了颜色较深的色块。DCPDN算法的去雾结果亮度较高，导致 图5 图5 （e）第1行的天空区域颜色过白，与真实结果（ 图5 图5 （h））的色调差异明显。本文算法与 l d 层的单视觉注意网络较其他去雾算法具有更好的去雾效果，但仔细观察仍可发现，本文算法的去雾结果 图5 图5 （g）较 l d 层的单视觉注意网络（ 图5 图5 （f））更接近真实图像（ 图5 图5 （h）），例如 图5 图5 （f）第2行的椅背颜色略黑，而 图5 图5 （g）第2行的椅背颜色更接近真实图像。 表3 表3 进一步展示了各算法在不同测试集上的量化结果。从中可见，本文算法除在室外图像测试集A及测试集SOTS上的平均SSIM值略低于GridDN以外，其余情况均优于对比算法，由此证明，本文算法借助于信息交互的双视觉注意网络能有效实现去雾。 4.5　真实图像去雾结果对比 2 图6 图6 给出了不同算法的真实图像去雾结果。为更好地观察色调及细节信息， 图6 图6 的第2行和第4行放大了 图6 图6 第1行和第3行的局部区域。从中可以看出，JTED ［ 14 14 ］ 及EPDN ［110］ 算法的去雾结果偏暗，如 图6 图6 （b）（c）的第2行细节放大图的色调明显暗于初始雾图（ 图6 图6 （a））的色调。GridDN ［ 11 11 ］ 算法的去雾结果在部分区域出现了明显的色彩失真，如 图6 图6 （d）第4行图像中深色的水面和陆面。DCPDN算法 ［ 13 13 ］ 结果（ 图6 图6 （e））存在亮度过大的问题，如 图6 图6 （e）第3行图像的天空区域因亮度过大而转变为白色。相比而言， l d 层网络和本文算法的去雾结果均能较好地去除真实图像中的雾气，但仔细观察发现， l d 层网络的去雾结果（ 图6 图6 （f））仍有雾残余，如 图6 图6 （f）的第4行图像，而本文算法的去雾结果（ 图6 图6 （g））不但无雾残余，还能最大程度上保留图像原有的色调及细节信息。 4.6　用户视觉评价 2 本节进一步采用用户视觉信息作为评价指标对各算法的去雾结果进行判断。选取不同年龄，不同性别，不同领域的用户100人，对100张图像的去雾结果进行评分，其中包含50张合成雾图，50张真实雾图。评价采用5分制，5分为去雾质量优，无失真；4分为去雾质量良好，有些许失真；3分为去雾质量一般，失真明显；2分为去雾质量差，失真严重；1分为去雾质量很差，无法接受。 表4 表4 为用户对各算法评价分数的平均值。从中可见，本文算法分值最高为4.4分，而在合成雾图的去雾结果量化评价 表3 表3 中，不占优势的EPDN算法，分值位于第二，4.3分。GridDN，DCPDN和JTED算法则位于第三，第四和第五。这主要是由于EPDN算法结果虽有失真，但具有较强的对比度，用户视觉感受下雾残余较少，主观判断失真不明显，去雾质量好。而本文算法结果虽失真少，但去雾结果的色彩对比度不强，部分用户给予的评分较EPDN算法低，因此综合评分与EPDN算法结果差距不大。为此，在未来的研究中，可在本文算法中添加后期处理模块，以进一步提高去雾结果的色彩对比度。 方法 JTED EPDN GridDN DCPDN 本文算法 分数 3.7 4.3 4.1 4.0 4.4 4.7　运行时间对比 2 本节在SOTS数据集上比较本文算法与基于深度学习去雾算法JTED ［ 14 14 ］ ，EPDN ［ 11 11 ］ ，GridDN ［ 12 12 ］ ，DCPDN ［ 13 13 ］ 和基于先验去雾算法DCP ［ 5 5 ］ 的平均运行时间。从 表5 表5 可见，本文算法对单张雾天的平均处理时间仅为0.043 s，不但明显优于DCP算法，还优于其他深度学习的算法，具有较高的运行效率。 方法 JTED EPDN GridDN DCP DCPDN 本文算法 时间 0.051 0.121 0.245 1.426 0.056 0.043 s 5 结　论 1 为充分探索和挖掘透射率的估计过程和图像的去雾过程中捕获信息的相关性，提高网络的性能。本文提出了双视觉注意网络的联合图像去雾和透射率估计模型。模型包含图像去雾层和透射率估计层，且每层网络均包含注意循环网络和编码解码网络。在图像去雾层，循环注意网络在透射率的监督下生成雾浓度注意图，以引导后续的编码解码网络感知雾的浓度，实现图像去雾。同样，在透射率估计层，循环注意网络在真实无雾图的引导下生成场景注意图，以引导编码解码网络感知场景信息，生成透射率。值得一提的是，为了更准确，高效地生成雾浓度注意图和场景注意图，图像去雾层及透射率估计层更利用其循环注意网络的循环单元实现信息交互，从而形成相互协作的双循环注意网络，在信息互补的方式下生成注意图。在合成图及真实图上的测试表明，本文算法采用的图像去雾层与透射率估计层的信息交互方式能有效地提高网络性能，在公共合成数据集上测得的算法精度及运行效率明显优于已有算法，单张雾图的平均处理时间仅为0.043 s，可用于图像去雾的工程实践中。 参考文献 韩昊男 ， 钱锋 ， 吕建威 ， 等 . 改进暗通道先验的航空图像去雾 ［J］. 光学 精密工程 ， 2020 ， 28 （ 6 ）： 1387 - 1394 . 改进暗通道先验的航空图像去雾 HAN H N ， QIAN F ， LÜ J W ， et al . Aerial image dehazing using improved dark channel prior ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1387 - 1394 . （in Chinese） Aerial image dehazing using improved dark channel prior 谭伟 ， 曹世翔 ， 齐文雯 ， 等 . 一种高分辨率遥感图像去雾霾方法 ［J］. 光学学报 ， 2019 ， 39 （ 3 ）： 0301005 . 一种高分辨率遥感图像去雾霾方法 TAN W ， CAO SH X ， QI W W ， et al . A haze removal method for high-resolution remote sensing images ［J］. Acta Agronomica Sinica ， 2019 ， 39 （ 3 ）： 0301005 . （in Chinese） A haze removal method for high-resolution remote sensing images 张峥 ， 李奇 ， 徐之海 ， 等 . 结合颜色线和暗通道的遥感图像去雾 ［J］. 光学 精密工程 ， 2019 ， 27 （ 1 ）： 181 - 190 . 结合颜色线和暗通道的遥感图像去雾 ZHANG ZH ， LI Q ， XU ZH H ， et al . Color-line and dark channel based dehazing for remote sensing images ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 1 ）： 181 - 190 . （in Chinese） Color-line and dark channel based dehazing for remote sensing images 王一斌 ， 尹诗白 ， 吕卓纹 . 自适应背景光估计与非局部先验的水下图像复原 ［J］. 光学 精密工程 ， 2019 ， 27 （ 2 ）： 499 - 509 . 自适应背景光估计与非局部先验的水下图像复原 WANG Y B ， YIN SH B ， LÜ ZH W . Under image restoration with adaptive background light estimation and non-local prior ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 2 ）： 499 - 509 . （in Chinese） Under image restoration with adaptive background light estimation and non-local prior HE K ， SUN J ， TANG X . Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2010 ， 33 （ 12 ）： 2341 - 2353 . Single image haze removal using dark channel prior BERMAN D ， AVIDAN S . Non-local image dehazing ［C］. Proceedings of the IEEE conference on Computer Vision and Pattern Recognition ， 2016 ： 1674 - 1682 . Non-local image dehazing MENG G ， WANG Y ， DUAN J ， et al . Efficient image dehazing with boundary constraint and contextual regularization ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2013 ： 617 - 624 . Efficient image dehazing with boundary constraint and contextual regularization 陈永 ， 郭红光 ， 艾亚鹏 . 基于多尺度卷积神经网络的单幅图像去雾方法 ［J］. 光学学报 ， 2019 ， 39 （ 10 ）： 1010001 . 基于多尺度卷积神经网络的单幅图像去雾方法 CHEN Y ， GUO H G ， AI Y P . Single image dehazing method based on multi-scale convolution neural network ［J］. Acta Optica Sinica ， 2019 ， 39 （ 10 ）： 1010001 . （in Chinese） Single image dehazing method based on multi-scale convolution neural network CAI B ， XU X ， JIA K ， et al . Dehazenet： An end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 11 ）： 5187 - 5198 . Dehazenet： An end-to-end system for single image haze removal LI B ， PENG X ， WANG Z ， et al . Aod-net： All-in-one dehazing network ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2017 ： 4770 - 4778 . Aod-net： All-in-one dehazing network QU Y ， CHEN Y ， HUANG J ， et al . Enhanced pix2pix dehazing network ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2019 ： 8160 - 8168 . Enhanced pix2pix dehazing network LIU X ， MA Y ， SHI Z ， et al . Griddehazenet： Attention-based multi-scale network for image dehazing ［C］. Proceedings of the IEEE International Conference on Computer Vision ， 2019 ： 7314 - 7323 . Griddehazenet： Attention-based multi-scale network for image dehazing ZHANG H ， PATEL V M . Densely connected pyramid dehazing network ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ， 2019 ： 3194 - 3203 . Densely connected pyramid dehazing network ZHANG H ， SINDAGIV ， PATEL V M . Joint transmission map estimation and dehazing using deep networks ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 . Joint transmission map estimation and dehazing using deep networks REN H ， EI-KHAMY M ， LEE J . Dn-resnet： Efficient deep residual network for image denoising ［C］. Asian Conference on Computer Vision . Springer ， Cham ， 2018 ： 215 - 230 . Dn-resnet： Efficient deep residual network for image denoising HOCHREITER S ， SCHMIDHUBER J . Long short-term memory ［J］. Neural computation ， 1997 ， 9 （ 8 ）： 1735 - 1780 . Long short-term memory 陈清江 ， 张雪 ， 柴昱洲 . 基于卷积神经网络的图像去雾算法 ［J］. 液晶与显示 ， 2019 ， 34 （ 2 ）： 220 - 227 . 基于卷积神经网络的图像去雾算法 CHEN Q J ， ZHANG X ， CHAI Y ZH . Image defogging algorithms based on multiscale convolution neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2019 ， 34 （ 2 ）： 220 - 227 . （in chinese） Image defogging algorithms based on multiscale convolution neural network SILBERMAN N ， HOIEM D ， KOHLI P ， et al . Indoor segmentation and support inference from rgbd images ［C］. European conference on computer vision . Springer ， Berlin， Heidelberg ， 2012 ： 746 - 760 . Indoor segmentation and support inference from rgbd images LI B ， REN W ， FU D ， et al . Benchmarking single-image dehazing and beyond ［J］. IEEE Transactions on Image Processing ， 2018 ， 28 （ 1 ）： 492 - 505 . Benchmarking single-image dehazing and beyond 10.37188/OPE.20212904.0854 TP391 A 1004-924X（2021）04-0854-10 冯燕茹.双视觉注意网络的联合图像去雾和透射率估计[J].光学精密工程,2021,29(04):854-863. 冯燕茹.双视觉注意网络的联合图像去雾和透射率估计[J].光学精密工程,2021,29(04):854-863. FENG Yan-ru.Joint transmission map estimation and image dehazing using dual vision attention network[J].Optics and Precision Engineering,2021,29(04):854-863. FENG Yan-ru.Joint transmission map estimation and image dehazing using dual vision attention network[J].Optics and Precision Engineering,2021,29(04):854-863. 廊坊市科技厅项目资助（No.2018011021）；中央高校基础科研业务费专项资金青年教师项目资助(No.ZY20130207) 2020-08-10 2020-10-24 2021-04-15 2021-06-03 光学精密工程 4 29