Improved CycleGAN network for underwater microscopic image color correction

改进的CycleGAN网络用于水下显微图像颜色校正 Improved CycleGAN network for underwater microscopic image color correction first-author 王昊天（1994-），男，黑龙江绥化人，硕士研究生，2019年于哈尔滨工业大学获得学士学位，主要从事水下显微图像处理方面的研究。E-mail： wanghaotian@stu.ouc.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245157&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245161&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245159&type= 22.01332855 32.00399780 王昊天 （1994-），男，黑龙江绥化人，硕士研究生，2019年于哈尔滨工业大学获得学士学位，主要从事水下显微图像处理方面的研究。E-mail： wanghaotian@stu.ouc.edu.cn wanghaotian@stu.ouc.edu.cn corresp E-mail： yewangquan@ouc.edu.cn E-mail： yewangquan@ouc.edu.cn 叶旺全（1991-），男，安徽宣城人，讲师，博士，2013年，2019年分别于中国海洋大学获得学士、博士学位，主要从事光谱类传感器一体化控制系统研制及光谱图像数据处理相关研究。E-mail： yewangquan@ouc.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245163&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245171&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245180&type= 22.01332855 32.00399780 叶旺全 （1991-），男，安徽宣城人，讲师，博士，2013年，2019年分别于中国海洋大学获得学士、博士学位，主要从事光谱类传感器一体化控制系统研制及光谱图像数据处理相关研究。E-mail： yewangquan@ouc.edu.cn yewangquan@ouc.edu.cn 中国海洋大学 信息科学与工程学部 物理与光电工程学院，山东 青岛 266100 中国海洋大学 信息科学与工程学部 物理与光电工程学院，山东 青岛 266100 College of Physics and Optoelectronic Engineering， Faculty of Information Science and Engineering， Ocean University of China， Qingdao 266100， China College of Physics and Optoelectronic Engineering， Faculty of Information Science and Engineering， Ocean University of China， Qingdao 266100， China 针对海洋水体及悬浮颗粒物吸收和散射所导致的水下显微图像的颜色信息失真问题，本文提出了一种改进的循环一致性对抗网络（Cycle-consistent Adversarial Network， CycleGAN）算法，实现对水下目标物图像的颜色校正。通过在原始水下降质图像和重构水下图像之间加入R、G、B三个通道的结构相似性（Structure Similarity Index Measure， SSIM）损失函数，度量二者图像之间的信息损失，进而实现R、G、B三个通道颜色的精准调控，不仅增强了CycleGAN网络的整体性能，也提高了生成器生成图像的质量。然后，利用水下多色自制标靶及天然矿石的显微图像组成的训练数据集对本文所提的改进网络进行训练，所得的模型可用于实际矿石样品表面的显微图像颜色校正。结果表明，本文所提的改进的CycleGAN算法较其它方法在颜色校正方面有着明显的优势。与传统的Retinex算法相比，处理后的图像峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和结构相似性指标分别提高41.85%、35.62%，而且，从主观视觉角度可发现经过校正的水下显微图像与空气中图像颜色相似度最高。综上，本文方法可以有效地对水下目标物图像进行颜色校正，并提升水下显微图像的质量，有望在海洋地质和海洋生物学方面得到应用。 The absorption and scattering of light by marine water and suspended particles lead to the distortion of color in underwater microscopic images. This paper presents an improved cycle generative adversarial network （CycleGAN） algorithm for effectively correcting the color of microscopic images of underwater targets. The structural similarity index （SSIM） loss function， which measures the loss of color information among images， of the R， G， and B channels was added between the original underwater images and the reconstructed images. Therefore， the color of the R， G and B channels was accurately regulated. This enhanced not only the overall performance of the CycleGAN， but also the quality of images produced by the generator. Subsequently， the improved network was trained by using a training data set， which consisted of underwater multicolor self-made target images and microscopic images of natural stones. The trained network model was used to correct the color of the microscopic images of underwater stones. The results showed that the improved CycleGAN algorithm had distinct advantages in color correction over other methods. The peak signal-to-noise ratio and SSIM of the images processed by using this algorithm were 41.85% and 35.62% higher than those processed by using the traditional Retinex algorithm， respectively. Moreover， in terms of subjective vision， the corrected underwater microscopic images had the highest color similarity with the images taken in air. In conclusion， this method can effectively correct the color of underwater target images and improve the quality of underwater microscopic images. It can be applied in marine geology and marine biology. 海底深部微生物观测 水下显微成像 SSIM损失函数 CycleGAN 颜色校正 observation of microorganisms in deep seabed underwater microscopic imaging SSIM loss function CycleGAN color correction 1 引　言 1 深海热液矿床富含锰、铜、镍和钴等元素，是一种具有潜在开发价值的矿产资源，热液中的微生物在矿物沉积和结核生成过程中发挥了重要作用 ［ 1 1 - 2 2 1-2 ］ 。同时，在海底深部生态系统中，菌席为生态系统中的生物群落提供了碳源和能量，一般因其不同部位微生物种类和地质的差异而显示出不同的色彩 ［ 3 3 ］ 。水下显微成像技术具有高分辨率动态监测、无损观测等特点，可实现从几十微米到几百微米的微观尺度观测，该技术可以很好地满足海洋中针对微生物群体这一微观领域研究的需求。但是，复杂的水下环境及恶劣的光照条件使得获取的水下图像出现严重的质量退化。水下目标物的显微图像质量普遍较差，尤其会产生严重的颜色差，导致难以有效识别目标。 现阶段关于水下图像的质量复原研究，主要采用机器学习的方法。Zhang等人 ［ 4 4 ］ 通过在神经网络中添加U-Net网络以及感知损失函数来提高网络性能，达到对浑浊水下图像颜色复原的目的。Wu等人 ［ 5 5 ］ 提出了一种基于结构分解的两阶段水下图像卷积神经网络（UWCNN-SD）增强算法，对不同类型的水下图像进行颜色校正和增强。Han等人 ［ 6 6 ］ 提出了一种新的螺旋生成对抗网络框架，在目标函数中包括由均方误差和角度误差组成的像素级损失，可以有效地恢复出具有更多细节、生动色彩和更好对比度的真实水下图像。Zong等人 ［ 7 7 ］ 提出了一个局部CycleGAN网络来增强水下图像，它结合了局部鉴别器和全局鉴别器来约束增强图像的全局和局部视觉效果，有效地提升了水下图像质量，校正了图像色彩。Fu等人 ［ 8 8 ］ 提出了一种基于全局-局部网络和压缩直方图均衡化的水下图像颜色校正方法来解决颜色畸变问题。Song等人 ［ 9 9 ］ 提出了背景光的统计模型和传输图的优化来增强水下图像。然而，先验信息的获取依赖于水下成像环境，导致该方法对成像假设和模型参数很敏感，因此该方法可能不适用于变化强烈的水下环境。褚金奎等人 ［ 10 10 ］ 提出了一种基于特定偏振态的水下图像去散射方法，能简单有效地抑制浑浊水体的散射，增加图像对比度，改善图像质量。Zhuang等人 ［ 11 11 ］ 提出了一种新颖的边缘保持滤波Retinex算法用于水下图像增强，该算法将梯度域引导的图像滤波反射和光照先验嵌入到基于Retinex的变分框架中，以改善图像结构，减少伪影或噪声。 对于水下显微图像，由于其具有更高的分辨率以及更低的像素差异度，一般的算法较难获得很好的处理效果。因此，本文提出一种改进的循环一致性生成对抗网络（Cycle-consistent Adversarial Network， CycleGAN）对水下显微成像系统拍摄的大量水下目标物的数据集进行训练处理，所获结果在水下目标物显微图像的颜色校正方面能得到广泛的应用。 2 改进的CycleGAN 1 2.1　CycleGAN 2 CycleGAN ［ 12 12 ］ 是由两个镜像的生成对抗网络（Generative Adversarial Network， GAN） ［ 13 13 ］ 构成的环形网络结构，主要包括两个生成器、两个判别器，损失函数不仅有生成对抗损失，还加入了循环一致损失（Cycle-consistency Loss）。该网络首先学习源域 X 到目标域 Y 之间映射，然后又能从目标域 Y 中还原回来，有效完成了非配对数据集在图像颜色和纹理方面的转换任务，具体过程如 图1 图1 所示。 以 图1 图1 （a）正向网络为例，在正向网络中生成器 G 将源域 X 中数据 x 映射到目标域 Y 中 <math id="M1"><mover><mrow><mi>y</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245213&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245199&type= 1.86266661 3.72533321 ，鉴别器 D Y 对生成图像 <math id="M2"><mover><mrow><mi>y</mi></mrow><mrow><mi>˜</mi></mrow></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245213&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245199&type= 1.86266661 3.72533321 做出判断；再通过生成器 F 将其还原成为域 X 中数据 x̃ ，而循环一致性损失则是为了让 x 和 x̃ 尽可能相同。同理，目标域 Y 到源域 X 的转换与上述过程相同。生成器 G 和判别器 D Y 之间的损失函数定义如下 ［ 12 12 ］ ： <math display="block" id="M3"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo>,</mo><mi>X</mi><mo>,</mo><mi>Y</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>y</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245219&type= 68.49533844 11.26066685 其中， X ， Y 分别代表源域和目标域， x ∊ X ， y ∊ Y ， P data（ x ） 为源域 X 的数据分布， P data（ y ） 为目标域 Y 的数据分布， <math id="M4"><msub><mrow><mi>E</mi></mrow><mrow><mi>y</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245225&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245223&type= 10.75266743 3.97933316 代表 y 服从 P data（ y ） 的情况下求期望， <math id="M5"><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245244&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245228&type= 10.83733368 3.97933316 代表 x 服从 P data（ x ） 的情况下求期望。 同样，生成器 F 和判别器 D X 之间的损失函数可以表达成如下形式 ［ 12 12 ］ ： <math display="block" id="M6"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><mi>Y</mi><mo>,</mo><mi>X</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>y</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245251&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245232&type= 68.41066742 11.26066685 为避免源域 X 中部分图像映射为目标域 Y 中同一图像的情况发生，CycleGAN引入循环一致性损失（Cycle-Consistency Loss）函数用于计算 x 和 x̃ 之间的损失。利用 F （ G （ x ））≈ y 和 G （ F （ x ））≈ x 定义循环一致性损失 L cyc 如 式（3） 式（3） ［ 12 12 ］ ： <math display="block" id="M7"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>F</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>F</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>-</mo><mi>x</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>y</mi><mo>~</mo><msub><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo></mrow></msub></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>G</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>-</mo><mi mathvariant="normal">y</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">]</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245266&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245255&type= 66.12466431 13.29266548 2.2　引入结构相似性损失函数 2 通常自然图像是高度结构化的，降质的水下图像的像素与空气中标准图像的像素之间存在很强的相关性。特别是在空间环境相似的情况下，这些相关性携带着视觉场景中物体结构的重要信息。文献［ 14 14 ］在CycleGAN网络结构中引入结构相似性（Structure Similarity Index Measure，SSIM）损失函数 ［ 14 14 ］ ，其中，SSIM可以从亮度、对比度和结构三方面度量图像 x 和图像 y 的相似性，其定义如 公式（4） 公式（4） 所示： <math display="block" id="M8"><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>σ</mi></mrow><mrow><mi>x</mi><mi>y</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mo stretchy="false">(</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>μ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mi>σ</mi></mrow><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245270&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245278&type= 68.41066742 9.48266602 ， 其中： μ x 为 x 的均值， μ y 为 y 的均值， σ xy 为 x ， y 的协方差， σ x 2 为 x 的方差， σ y 2 为 y 的方差， c 1 ， c 2 为常数。 文献［ 14 14 ］在CycleGAN网络中加入结构相似性损失函数的目的就是使生成的空气中图像和输入的水下颜色失真图像，在纹理结构、亮度和对比度上保持一定程度的相似性。但是，输入的水下失真图像一般对比度和亮度较低，且颜色失真严重，用该失真图像去校正生成的空气中图像，效果未必理想。本文希望生成的空气中图像在颜色和对比度方面都可以得到进一步增强。 受此启发，本文使用的SSIM损失函数只是限制输入的原始水下降质图像 X 和重构的水下图像 <math id="M9"><mover accent="true"><mi>X</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245285&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245273&type= 2.62466669 3.72533321 在颜色和边缘纹理结构上保持一致性。所以，在彩色图像 X 和 <math id="M10"><mover accent="true"><mi>X</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245295&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245287&type= 2.62466669 3.72533321 的R、G、B三个通道上分别计算SSIM损失函数的值。然后将三个通道的SSIM值取平均值，得到最终的SSIM值。该改进可以加强对水下降质图像R、G、B三通道颜色的精准校正，进一步增强CycleGAN网络的性能，改进的网络结构如 图2 图2 所示。 综上，输入图像 X 和重构图像 <math id="M11"><mover accent="true"><mi>X</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245307&type= 2.62466669 3.72533321 之间的损失函数可被定义为： <math display="block" id="M12"><mtable><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi><mi>S</mi><mi>I</mi><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></msub><mo>=</mo><mo stretchy="false">(</mo><mi>X</mi><mo>,</mo><mi>F</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi><mi>S</mi><mi>I</mi><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">R</mi></mrow></msub></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi><mi>S</mi><mi>I</mi><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">G</mi></mrow></msub></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi><mi>S</mi><mi>I</mi><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></mrow></msub></mrow><mrow><mn mathvariant="normal">3</mn></mrow></mfrac><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245316&type= 41.90999985 14.13933277 其中， <math display="block" id="M13"><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi><mi>S</mi><mi>I</mi><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">R</mi></mrow></msub></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">R</mi></mrow></msub><mo>,</mo><mi>F</mi><mo stretchy="false">(</mo><mi>G</mi><msub><mrow><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">R</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>P</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo stretchy="false">(</mo><mi>P</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245338&type= 71.20466614 8.63599968 ， （6） 其中： N 为一幅图像中像素个数， P 为图像中心像素值。 改进后的CycleGAN网络总损失函数为对抗损失、循环一致损失、结构相似损失三部分的加权组合： <math display="block" id="M14"><mtable><mtr><mtd><mi>L</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>F</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo>,</mo><mi>X</mi><mo>,</mo><mi>Y</mi><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><mi>Y</mi><mo>,</mo><mi>X</mi><mo stretchy="false">)</mo><mo>+</mo><mi>λ</mi><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>F</mi><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><mi>β</mi><msub><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>S</mi><mi>S</mi><mi>I</mi><mi>M</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">(</mo><mi>X</mi><mo>,</mo><mi>F</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245344&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245342&type= 63.07666779 15.57866764 这里将权重系数 λ 与 β 赋值为1。 2.3　网络结构和训练细节 2 经典的CycleGAN网络呈镜像结构，主要由两部分构成，每部分都是基于GAN的子网络。每个GAN网络的生成器均由编码器、转换器以及解码器构成。本文使用的生成器网络结构如 图3 图3 所示。 图3 图3 中编码器由三个卷积层构成，可用来提取源域图像的不同特征；解码器由三个转置卷积层构成，通过特征向量完成对图像的重构，在编码器和解码器之间还添加了9个残差块（Residual Block） ［ 12 12 ］ 构成转换器，组合图像的不同相近特征。 本文中GAN网络的判别器采用原网络中70×70的PatchGAN ［ 12 12 ］ ，可以同时判别图像中多个70×70图像块真假，把所有图像块的判定结果的平均值作为图像真假的判定结果，判别器网络结构如 图4 图4 。 3 水下图像颜色恢复实验 1 本文模型训练使用计算机配置是CPU为Intel Xeon W-2123、3.60 GHz、RAM 16 GB、显卡为NVIDIA TITAN RTX，利用搭建的水下显微成像系统，采集了模拟水体下的自制标靶图像。训练数据集的数据量为550张512×512的模拟水体中自制标靶及矿石图像数据、550张512×512对应的空气中图像数据。优化器采用性能较好的Adam算法，学习率设置为0.000 2，迭代次数80，批次（batch size）为1。 3.1　水下显微成像系统 2 为研究水下显微成像过程及其影响因素，在显微成像的光学结构基础之上，搭建了如 图5 图5 所示的水下显微成像系统。该系统由图像采集模块、照明模块和显微成像模块构成。 图像采集模块主要采用了一台200万像素的彩色相机（BFLY-PGE-23S6C-C）对水下目标物进行高分辨率的彩色成像。照明模块由白色的环形LED光源及光源控制器构成，为水下显微成像提供所需的均匀照明环境。显微成像模块由显微物镜（5×）和管透镜（1×）组成，以实现对水下目标的显微成像，本文实验基于此套系统对水下目标物进行显微图像采集。 3.2　模拟水体及数据集制备 2 为了更好地模拟复杂海水环境以及悬浮颗粒对光的强散射与强吸收作用，文中在实验室条件下制备了模拟水体，即通过向清水中加入脱脂牛奶模拟海水的散射作用，脱脂牛奶主要含有酪蛋白分子，其平均直径在0.04~0.3 nm之间，可模拟瑞利散射的机制 ［ 15 15 - 16 16 15-16 ］ ；向清水中掺入具有特定光吸收特性的墨水来模拟海水对光的吸收效应。实验中选用的是法国J. Herbin D系列彩色染料墨水 ［ 17 17 ］ 。 如 图6 图6 所示，在实验中所用照明光源波长范围内，该染料墨水的吸收光谱相对值曲线与海水的吸收光谱特性曲线的变化趋势较为类似，均存在一个“海水透光窗口”，其所覆盖的波长范围为430~570 nm。实验所用照明光源的波长范围都在650 nm以下，避免了曲线特征变化趋势不相似的波长区域。因此，墨水在长波长与海水吸收的差异不影响实验中对海水吸收特性的模拟效果。综上，脱脂牛奶和染料墨水可以很好地模拟复杂海水环境的强吸收与强散射特性。 在样品的选择方面，由于天然岩石标本颜色种类单一，水下矿物样品难以获得，无法满足训练要求，为了增加训练神经网络的泛化能力。采用Photoshop软件中的颜色库PANTONE+Color Bridge Uncoated制作了颜色形状种类丰富的水下目标物标靶，并以此作为训练网络模型的训练数据集，部分自制标靶图像如 图7 图7 所示。 4 结果分析与对比 1 4.1　实验结果主观分析 2 利用改进的CycleGAN算法对自制的水下目标物标靶数据集进行训练处理；同时，为了对比处理效果，本文采用传统图像处理方法中的带色彩恢复系数的多尺度Retinex算法（Multi Scale Retinex With Color Restoration，MSRCR） ［ 18 18 - 19 19 18-19 ］ 对目标物进行处理，结果如 图8 图8 所示。 从主观视觉角度可以看出， 图8 图8 中带色彩恢复系数的多尺度Retinex算法（MSRCR）处理后的图像，存在明显的颜色过饱和现象，与空气中的目标物图像颜色差距较大。在迭代次数和学习率相同情况下，原始的CycleGAN网络处理后的水下图像在照明不足部分（暗区域）出现了大量伪色彩，且存在图像颜色复原失真现象，图像颜色恢复较原图存在很大的差距。与此相比，改进后的CycleGAN处理的水下图像颜色恢复得更加接近空气中的原图，图像亮度得到明显提升，且图像周围的干扰噪声得到了有效抑制，网络模型训练更加稳定。从 图8 图8 中可发现，实验采集的水下图像普遍呈现蓝绿色调，主要是由于模拟水体对可见光波段的强吸收具有明显的波长选择性，表现为短波长比长波长吸收少。此外，由于脱脂牛奶中酪蛋白分子产生强烈的后向散射效应，导致水下图像表面呈现“雾化”效果。经本文算法处理后，以上两种现象也得到了明显改善。 本文利用训练好的改进CycleGAN网络对天然矿石的水下降质图像进行了处理。所选用天然矿石为斑点石（Dalmatian）、花绿石（Unakite）、图画石（Picture Jasper），这几种矿石的表面颜色和纹理均有较为明显的区别。通过对天然矿石特征区域的显微图像进行处理，得到如 图9 图9 所示的实验结果。 从以上处理结果可以看出，带色彩恢复系数的多尺度Retinex算法（MSRCR）处理后图像虽然亮度得到明显提升，但颜色恢复效果不佳。改进后的CycleGAN算法图像颜色恢复得更加自然真实，图像亮度有了很大改善，纹理边界更加清晰，颜色上也更加接近空气中的原图。 4.2　实验结果客观评价 2 为了更加客观地说明本文算法对水下显微图像处理的适用性和优越性，本文通过客观评价指标峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和SSIM ［ 20 20 ］ ，以及水下彩色图像质量评价指标 （Undewater Color Image Quality Evaluation， UCIQE） ［ 21 21 ］ 对不同算法处理后的水下显微图像进行定量分析比较。 要计算PSNR必须先计算当前图像和参考图像的均方误差（MSE）。假设两幅图像 X 和 Y ，他们的分辨率均为 m × n ，则它们的均方误差可以定义为： <math display="block" id="M15"><mi>M</mi><mi>S</mi><mi>E</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi><mi>n</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">0</mn></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo>-</mo><mi>Y</mi><msup><mrow><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245468&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245466&type= 59.94400024 9.05933285 . 则峰值信噪比PSNR可通过MSE得出来： <math display="block" id="M16"><mi>P</mi><mi>S</mi><mi>N</mi><mi>R</mi><mo>=</mo><mn mathvariant="normal">10</mn><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">g</mi></mrow><mrow><mn mathvariant="normal">10</mn></mrow></msub><mfenced separators="|"><mrow><mfrac><mrow><mi>M</mi><mi>A</mi><msubsup><mrow><mi>X</mi></mrow><mrow><mi mathvariant="normal">I</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></mrow><mrow><mi>M</mi><mi>S</mi><mi>E</mi></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245457&type= 40.72467041 9.65200043 ， 其中： MAX I 代表图像像素点的最大值， MSE 的值越小， PSNR 越大，说明处理后图像的质量越好。 UCIQE是用CIELab空间的色度、饱和度、对比度三者的加权组合来评价图像质量，其定义为： <math display="block" id="M17"><mi>U</mi><mi>C</mi><mi>I</mi><mi>Q</mi><mi>E</mi><mo>=</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>×</mo><msub><mrow><mi>σ</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>×</mo><mi>c</mi><mi>o</mi><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">l</mi></mrow></msub><mo>+</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo>×</mo><msub><mrow><mi>μ</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245480&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=30245490&type= 60.70600128 4.57200003 ， 其中： σ c 是色度的标准差， con l 为对比度， μ s 是饱和度的平均值， c 1 ， c 2 ， c 3 是加权系数。 通过客观评价指标对水下目标物图像进行处理，得到如 表1 表1 所示的客观评价结果。 注： （*UCIQE difference is the difference between the UCIQE value of the standard image in the air and the processed image） Target Image PSNR SSIM UCIQE difference * 4 Self - made target Image in air - - 0 MSRCR 15.582 3 0.568 2 0.137 5 CycleGAN 19.579 1 0.728 5 0.074 2 Improved CycleGAN 22.103 4 0.770 6 0.021 7 4 Underwater stone Image in air - - 0 MSRCR 15.112 0 0.399 4 0.102 6 CycleGAN 16.976 0 0.664 0 0.058 4 Improved CycleGAN 18.232 2 0.702 4 0.018 3 从 表1 表1 中可以看出改进的CycleGAN算法处理后的水下图像的PSNR、SSIM指标均好于CycleGAN算法，改进的CycleGAN算法的UCIQE指标与空气中标准图像的UCIQE指标的差值最小，即改进的CycleGAN算法处理后的水下图像更加接近空气中的标准图像；MSRCR算法处理结果中的UCIQE差值在几种算法中最高，即该算法处理后的水下图像与空气中的标准图像相去甚远，且PSNR和SSIM指标也不及前者；评价指标的客观评价结果与主观视觉感受相符。 5 结　论 1 为解决水下显微图像颜色失真的问题，本文提出了一种改进的CycleGAN算法。通过在原始水下降质图像和重构水下图像之间加入R、G、B三个通道的SSIM损失函数，度量二者图像间的信息损失；并通过主观视觉感受和客观评价指标验证了改进算法对水下图像色彩恢复的有效性。结果表明，在强吸收与强散射混合水体中，自制标靶图像组中本文所提改进的CycleGAN算法处理后的效果表现良好，图像的PSNR、SSIM指标分别较改进前提高了12.89%和5.78%，较传统MSRCR提高了41.85%和35.62%，UCIQE也与空气中图像最为接近；水下岩石样品图像的PSNR、SSIM指标分别较改进前提高7.40%和5.78%，较传统MSRCR提高了20.65%和75.86%，达到对水下显微图像颜色校正的需求，为研究水下矿石表面微生物矿化过程和深海菌席的研究提供了技术支撑，有望在海洋地质和海洋生物学方面得到应用。 参考文献 NOZAKI T ， NAGASE T ， USHIKUBO T ， et al . Microbial sulfate reduction plays an important role at the initial stage of subseafloor sulfide mineralization ［J］. Geology ， 2021 ， 49 （ 2 ）： 222 - 227 . doi: 10.1130/g47943.1 http://dx.doi.org/10.1130/g47943.1 Microbial sulfate reduction plays an important role at the initial stage of subseafloor sulfide mineralization SINHA R K ， KRISHNAN K P ， THOMAS F A ， et al . Polyphasic approach revealed complex bacterial community structure and function in deep sea sediment of ultra-slow spreading Southwest Indian Ridge ［J］. Ecological Indicators ， 2019 ， 96 ： 40 - 51 . doi: 10.1016/j.ecolind.2018.08.063 http://dx.doi.org/10.1016/j.ecolind.2018.08.063 Polyphasic approach revealed complex bacterial community structure and function in deep sea sediment of ultra-slow spreading Southwest Indian Ridge NIKOLAUS R ， AMMERMAN J W ， MACDONALD I R . Distinct pigmentation and trophic modes in beggiatoa from hydrocarbon seeps in the gulf of Mexico ［J］. Aquatic Microbial Ecology ， 2003 ， 32 ： 85 - 93 . doi: 10.3354/ame032085 http://dx.doi.org/10.3354/ame032085 Distinct pigmentation and trophic modes in beggiatoa from hydrocarbon seeps in the gulf of Mexico ZHANG R ， GUI X Y ， CHENG H Y ， et al . Underwater image recovery utilizing polarimetric imaging based on neural networks ［J］. Applied Optics ， 2021 ， 60 （ 27 ）： 8419 . doi: 10.1364/ao.431299 http://dx.doi.org/10.1364/ao.431299 Underwater image recovery utilizing polarimetric imaging based on neural networks WU S C ， LUO T ， JIANG G Y ， et al . A two-stage underwater enhancement network based on structure decomposition and characteristics of underwater imaging ［J］. IEEE Journal of Oceanic Engineering ， 2021 ， 46 （ 4 ）： 1213 - 1227 . doi: 10.1109/joe.2021.3064093 http://dx.doi.org/10.1109/joe.2021.3064093 A two-stage underwater enhancement network based on structure decomposition and characteristics of underwater imaging HAN R Y ， GUAN Y ， YU Z B ， et al . Underwater image enhancement based on a spiral generative adversarial framework ［J］. IEEE Access ， 2020 ， 8 ： 218838 - 218852 . doi: 10.1109/access.2020.3041280 http://dx.doi.org/10.1109/access.2020.3041280 Underwater image enhancement based on a spiral generative adversarial framework ZONG X H ， CHEN Z H ， WANG D D . Local-CycleGAN： a general end-to-end network for visual enhancement in complex deep-water environment ［J］. Applied Intelligence ， 2021 ， 51 （ 4 ）： 1947 - 1958 . doi: 10.1007/s10489-020-01931-w http://dx.doi.org/10.1007/s10489-020-01931-w Local-CycleGAN： a general end-to-end network for visual enhancement in complex deep-water environment FU X Y ， CAO X Y . Underwater image enhancement with global-local networks and compressed-histogram equalization ［J］. Signal Processing： Image Communication ， 2020 ， 86 ： 115892 . doi: 10.1016/j.image.2020.115892 http://dx.doi.org/10.1016/j.image.2020.115892 Underwater image enhancement with global-local networks and compressed-histogram equalization SONG W ， WANG Y ， HUANG D M ， et al . Enhancement of underwater images with statistical model of background light and optimization of transmission map ［J］. IEEE Transactions on Broadcasting ， 2020 ， 66 （ 1 ）： 153 - 169 . doi: 10.1109/tbc.2019.2960942 http://dx.doi.org/10.1109/tbc.2019.2960942 Enhancement of underwater images with statistical model of background light and optimization of transmission map 褚金奎 ， 张培奇 ， 成昊远 ， 等 . 基于特定偏振态成像的水下图像去散射方法 ［J］. 光学 精密工程 ， 2021 ， 29 （ 5 ）： 1207 - 1215 . doi: 10.37188/OPE.20212905.1207 http://dx.doi.org/10.37188/OPE.20212905.1207 基于特定偏振态成像的水下图像去散射方法 CHU J K ， ZHANG P Q ， CHENG H Y ， et al . De-scattering method of underwater image based on imaging of specific polarization state ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 5 ）： 1207 - 1215 . （in Chinese） . doi: 10.37188/OPE.20212905.1207 http://dx.doi.org/10.37188/OPE.20212905.1207 De-scattering method of underwater image based on imaging of specific polarization state ZHUANG P X ， DING X H . Underwater image enhancement using an edge-preserving filtering Retinex algorithm ［J］. Multimedia Tools and Applications ， 2020 ， 79 （ 25/26 ）： 17257 - 17277 . doi: 10.1007/s11042-019-08404-4 http://dx.doi.org/10.1007/s11042-019-08404-4 Underwater image enhancement using an edge-preserving filtering Retinex algorithm ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2242 - 2251 . doi: 10.1109/iccv.2017.244 http://dx.doi.org/10.1109/iccv.2017.244 Unpaired image-to-image translation using cycle-consistent adversarial networks 杜振龙 ， 沈海洋 ， 宋国美 ， 等 . 基于改进CycleGAN的图像风格迁移 ［J］. 光学 精密工程 ， 2019 ， 27 （ 8 ）： 1836 - 1844 . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836 基于改进CycleGAN的图像风格迁移 DU Z L ， SHEN H Y ， SONG G M ， et al . Image style transfer based on improved CycleGAN ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 8 ）： 1836 - 1844 . （in Chinese） . doi: 10.3788/ope.20192708.1836 http://dx.doi.org/10.3788/ope.20192708.1836 Image style transfer based on improved CycleGAN LU J Y ， LI N ， ZHANG S Y ， et al . Multi-scale adversarial network for underwater image restoration ［J］. Optics & Laser Technology ， 2019 ， 110 ： 105 - 113 . doi: 10.1016/j.optlastec.2018.05.048 http://dx.doi.org/10.1016/j.optlastec.2018.05.048 Multi-scale adversarial network for underwater image restoration LIU F ， HAN P L ， WEI Y ， et al . Deeply seeing through highly turbid water by active polarization imaging ［J］. Optics Letters ， 2018 ， 43 （ 20 ）： 4903 - 4906 . doi: 10.1364/ol.43.004903 http://dx.doi.org/10.1364/ol.43.004903 Deeply seeing through highly turbid water by active polarization imaging AMER K O ， ELBOUZ M ， ALFALOU A . Phase Contrast Enhancement Combined with Dark Channel Prior for Underwater Target Recognition ［J］. The Eurasia Proceedings of Science Technology Engineering and Mathematics ， 2018 （ 4 ）： 74 - 81 . doi: 10.1364/oe.27.000621 http://dx.doi.org/10.1364/oe.27.000621 Phase Contrast Enhancement Combined with Dark Channel Prior for Underwater Target Recognition 聂瑛 ， 何志毅 . 不同波长光源照明的水下成像及光学图像实时处理 ［J］. 光学学报 ， 2014 ， 34 （ 7 ）： 0710002 . doi: 10.3788/aos201434.0710002 http://dx.doi.org/10.3788/aos201434.0710002 不同波长光源照明的水下成像及光学图像实时处理 NIE Y ， HE Z Y . Underwater imaging and real-time optical image processing under illumination by light sources with different wavelengths ［J］. Acta Optica Sinica ， 2014 ， 34 （ 7 ）： 0710002 . （in Chinese） . doi: 10.3788/aos201434.0710002 http://dx.doi.org/10.3788/aos201434.0710002 Underwater imaging and real-time optical image processing under illumination by light sources with different wavelengths 王卫星 ， 赵恒 . 结合改进Retinex及自适应分数阶微分的雾霾公路交通图像增强 ［J］. 光学 精密工程 ， 2020 ， 28 （ 8 ）： 1820 - 1834 . doi: 10.3788/OPE.20202808.1820 http://dx.doi.org/10.3788/OPE.20202808.1820 结合改进Retinex及自适应分数阶微分的雾霾公路交通图像增强 WANG W X ， ZHAO H . Haze traffic image enhancement based on improved retinex and adaptive fractional differential ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1820 - 1834 . （in Chinese） . doi: 10.3788/OPE.20202808.1820 http://dx.doi.org/10.3788/OPE.20202808.1820 Haze traffic image enhancement based on improved retinex and adaptive fractional differential 王冬云 ， 唐楚 ， 鄂世举 ， 等 . 基于导向滤波Retinex和自适应Canny的图像边缘检测 ［J］. 光学 精密工程 ， 2021 ， 29 （ 2 ）： 443 - 451 . doi: 10.37188/OPE.20212902.0443 http://dx.doi.org/10.37188/OPE.20212902.0443 基于导向滤波Retinex和自适应Canny的图像边缘检测 WANG D Y ， TANG C ， E S J ， et al . Image edge detection based on guided filter Retinex and adaptive Canny ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 443 - 451 . （in Chinese） . doi: 10.37188/OPE.20212902.0443 http://dx.doi.org/10.37188/OPE.20212902.0443 Image edge detection based on guided filter Retinex and adaptive Canny HORÉ A ， ZIOU D . Image quality metrics： PSNR vs. SSIM ［C］. 2010 20th International Conference on Pattern Recognition . 2326，2010 ， Istanbul， Turkey . IEEE ， 2010 ： 2366 - 2369 . doi: 10.1109/icpr.2010.579 http://dx.doi.org/10.1109/icpr.2010.579 Image quality metrics： PSNR vs. SSIM YANG M ， SOWMYA A . An underwater color image quality evaluation metric ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 12 ）： 6062 - 6071 . doi: 10.1109/tip.2015.2491020 http://dx.doi.org/10.1109/tip.2015.2491020 An underwater color image quality evaluation metric 10.37188/OPE.20223012.1499 TP391.4 TH691.9 A 1004-924X（2022）12-1499-10 王昊天,刘庆省,陈亮等.改进的CycleGAN网络用于水下显微图像颜色校正[J].光学精密工程,2022,30(12):1499-1508. 王昊天,刘庆省,陈亮等.改进的CycleGAN网络用于水下显微图像颜色校正[J].光学精密工程,2022,30(12):1499-1508. WANG Haotian,LIU Qingsheng,CHEN Liang,et al.Improved CycleGAN network for underwater microscopic image color correction[J].Optics and Precision Engineering,2022,30(12):1499-1508. WANG Haotian,LIU Qingsheng,CHEN Liang,et al.Improved CycleGAN network for underwater microscopic image color correction[J].Optics and Precision Engineering,2022,30(12):1499-1508. 山东省重点研发计划（国际科技合作）项目（No.2019GHZ010）；山东省自然科学基金项目（No.ZR2020MF123） 2022-03-01 2022-03-20 2022-06-25 2022-06-25 光学精密工程 12 30