Fusion of infrared and visible images via structure and texture-aware retinex

结构和纹理感知的Retinex融合红外与可见光图像 Fusion of infrared and visible images via structure and texture-aware retinex 1 first-author 胡建平（1981-），男，四川岳池人，博士，教授，硕士生导师，2009年于大连理工大学获得博士学位，主要从事计算机图形图学、数字几何处理和图像处理方面的研究。E-mail：neduhjp307@ 163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113459&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113456&type= 22.01332855 32.00400543 胡建平 （1981-），男，四川岳池人，博士，教授，硕士生导师，2009年于大连理工大学获得博士学位，主要从事计算机图形图学、数字几何处理和图像处理方面的研究。E-mail： neduhjp307@ 163.com neduhjp307@ 163.com 1 2 1 3 corresp E-mail： xieqi_19820302@126.com E-mail： xieqi_19820302@126.com 谢 琪（1982-），女，吉林汪清人，博士研究生，讲师，2007年在吉林大学获得硕士学位，主要从事数字图像处理方面的研究。E-mail：xieqi_19820302@126.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113471&type= 22.01332855 32.00400543 谢 琪 （1982-），女，吉林汪清人，博士研究生，讲师，2007年在吉林大学获得硕士学位，主要从事数字图像处理方面的研究。E-mail： xieqi_19820302@126.com xieqi_19820302@126.com 东北电力大学 理学院，吉林 吉林 132012 东北电力大学 理学院，吉林 吉林 132012 School of Science， Northeast Electric Power University， Jilin 132012， China School of Science， Northeast Electric Power University， Jilin 132012， China 吉林工程技术师范学院 数据科学与人工智能学院，吉林 长春 130052 吉林工程技术师范学院 数据科学与人工智能学院，吉林 长春 130052 School of Data Science and Artificial Intelligence， Jilin Engineering Normal University， Changchun 130052， China School of Data Science and Artificial Intelligence， Jilin Engineering Normal University， Changchun 130052， China 吉林大学 数学学院，吉林 长春 130012 吉林大学 数学学院，吉林 长春 130012 School of Mathematics， Jilin University， Changchun 130012， China School of Mathematics， Jilin University， Changchun 130012， China 为了提高红外与可见光图像的融合质量，本文提出一种新颖的基于结构和纹理感知的Retinex模型的红外与可见光图像融合方法。该方法首先通过结构和纹理感知的Retinex模型将源图像分解为反射分量和光照分量，不但能够有效地将源图像的纹理和结构信息进行分离，而且也能很好地提取可见光图像中低亮度下的细节特征信息；然后通过构造源图像的二阶梯度为基础的权值映射和伽马函数对反射分量和光照分量进行融合；最后对融合的反射分量和光照分量进行重建得到最终融合图像。通过对38组广泛使用的TNO红外/可见光图像数据库中的图像进行测试表明，本文方法得到的融合图像不但具有较高的可视化质量，而且与近年来提出的5种高水平方法相比，本文方法在互信息、非线性相关信息熵、图像相位一致性度量上取得了更好的客观评价结果，能够较好地解决红外与可见光图像融合中出现的细节特征缺失和对比度较低的问题。 To improve the quality of the fusion of infrared and visible images， this study proposes a novel method based on structure and texture-aware Retinex （STAR）. It first decomposes the source images into reflection and illumination components according to the STAR model. This decomposition can separate the texture and structure of the source images accurately and extract the detailed features of the visible images with low luminance. Subsequently， it merges the reflection component using a weight map， which is constructed using the second-order gradient of the source images as the input. Moreover， it merges the illumination component using a gamma function， which can make the fused image have more brightness information. Finally， it reconstructs the fused reflection and illumination components to obtain the final fusion image. According to the test on 38 pairs of widely used images in the TNO infrared and visible image database， the proposed method can generate excellent fused results with high visual quality. Furthermore， compared with five state-of-the-art methods for the fusion of infrared and visible images， the proposed method achieved significantly better objective evaluation results in mutual information， nonlinear correlation information entropy， and feature measurement based on image phase consistency. This study involves the use of STAR model for fusing infrared and visible images and establishes a direct fusion framework based on Retinex， which improves the fusion results of the existing methods in terms of detailed features and global contrast. 红外图像 可见光图像 图像融合 Retinex模型 infrared images visible images image fusion Retinex model 1 引 言 1 图像融合是将多个传感器获取的图像组合起来生成信息更加丰富的图像，以帮助人类的视觉感知和计算机视觉等相关的任务。红外和可见光图像融合是众多图像融合任务中的一种，其中红外图像可以凸显高对比度和突出的目标，并不能很好地凸显细小的纹理信息，而可见光图像具有丰富的纹理信息，但是容易受到环境光照的影响。通过结合红外和可见光图像的优点，图像融合对于军事、农业、医学、遥感等领域 ［ 1 1 ］ 都具有重要的意义。 迄今为止，红外和可见光图像的融合在国内外得到了广泛研究，研究者们提出了多种类型的融合方法，包括变换域的方法、空间域的方法、深度学习的方法等 ［ 1 1 ］ 。变换域的方法包括金字塔变换 ［ 2 2 ］ 、小波变换 ［ 3 3 ］ 、轮廓波变换 ［ 4 4 - 5 5 4-5 ］ 、基于边缘保持的滤波 ［ 6 6 - 7 7 6-7 ］ 、稀疏表示 ［ 8 8 - 10 10 8-10 ］ 等。与变换域的方法相比，空间域的方法 ［ 11 11 - 12 12 11-12 ］ 利用源图像的一些空间特征直接在空间域上进行融合，一般只需要为每个源图像生成一个权重图，然后利用源图像再进行加权平均来得到融合图像，不需要像基于变换域的方法那样进行逆变换来重建融合图像。深度学习具有很强的建模数据之间复杂关系的能力，并且不需要人工干预就可以自动从数据中提取独特的特征 ［ 13 13 ］ ，已经被成功地应用到红外与可见光图像的融合中 ［ 14 14 - 16 16 14-16 ］ 。 尽管现有的红外和可见光图像融合的研究已经取得了诸多进展，但是对于低光照下的可见光图像，如何有效地将其同红外图像进行融合仍然存在着诸多挑战。近年来，考虑到Retinex是一种人类视觉的亮度和颜色感知的模型 ［ 17 17 ］ ，能够增强低光照图像的对比度的同时恢复图像的纹理细节特征，孔玲君和张孟孟 ［ 18 18 ］ 将Retinex模型引入到红外与可见光图像融合中，试图用其提高图像融合的质量。然而，该方法只是将Retinex模型作为一种预处理的手段，即在融合之前使用经典的Retinex模型 ［ 19 19 ］ 增强低光照图像的纹理特征，然后采用现有的方法进行融合，不但导致融合图像与源图像的相关性降低，而且也会出现人工效应。为此，本文提出了一种新的基于Retinex的融合框架，该框架通过将结构和纹理感知的Retinex模型（Structure and Texture-aware Retinex，STAR）引入到红外与可见光图像融合中，不但能够更好地分离源图像的纹理和结构信息，而且可以直接对Retinex模型所得到的反射分量和光照分量进行融合。大量的实验结果表明，本文方法融合的图像不但细节特征清晰，具有较高的对比度，而且在多个客观评价指标上取得了比近年来5种高水平红外和可见光图像融合方法更好的结果。 2 本文方法 1 本文方法首先使用STAR模型将源图像分解为反射分量和光照分量，然后分别对反射分量和光照分量进行融合，其中反射分量的权值映射通过源图像的二阶梯度构造的特征映射和联合双边滤波等工具得到，光照分量的权值映射使用伽马函数进行计算，最后对融合后的反射分量和光照分量重建得到最终融合图像，方法的具体流程如 图1 图1 所示。 2.1　结构和纹理感知的Retinex分解 2 Retinex模型是对人类视觉亮度和颜色感知的一种模型，该模型能够将图像分解为光照分量和反射分量，反射分量被视为观测场景的内在属性，不受作为外部属性的光照分量的影响 ［ 17 17 ］ 。中心环绕方法 ［ 19 19 ］ 是经典的Retinex模型的一种重要方法，但是它在分解时缺少对结构的有效限制。为了更好地估计光照分量和反射分量，研究者们通过Retinex理论中的先验约束建立变分模型来进行分解 ［ 20 20 - 21 21 20-21 ］ ，这种先验约束认为较大的导数会引起反射分量的变化，较小的导数会引起光照分量的变化。同使用局部导数建立变分模型不同 ［ 20 20 ］ ，Xu等人 ［ 21 21 ］ 利用局部导数的幂函数来建模光照分量和反射分量，能够有效地提取感知全局结构和局部纹理的光照分量和反射分量，因此本文首次将这种基于结构和纹理感知的Retinex模型 ［ 21 21 ］ 引入到图像融合中，以有效地增强红外和可见光图像融合中的细节特征和对比度。 STAR模型的目标是将一幅 <math id="M1"><mi>n</mi><mo>×</mo><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113515&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113510&type= 9.56733322 2.79399991 的图像 <math id="M2"><mi mathvariant="bold-italic">O</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>m</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113520&type= 14.56266594 3.38666677 分解为光照分量和反射分量： <math display="block" id="M3"><mi mathvariant="bold-italic">O</mi><mo>=</mo><mi mathvariant="bold-italic">I</mi><mo>⊙</mo><mi mathvariant="bold-italic">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113532&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113528&type= 15.57866764 3.47133350 ， 其中： <math id="M4"><mi mathvariant="bold-italic">I</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>m</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113542&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113536&type= 13.29266548 3.38666677 表示为图像的光照分量， <math id="M5"><mi mathvariant="bold-italic">R</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>n</mi><mo>×</mo><mi>m</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113549&type= 14.47799969 3.38666677 表示为图像的反射分量， <math id="M6"><mo>⊙</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113564&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113558&type= 3.72533321 3.47133350 表示对图像每个像素进行乘法运算。由于该问题是高度病态的，需要增加一些先验的约束对该问题进行求解，即最小化下面的优化问题： <math display="block" id="M7"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>I</mi><mo>,</mo><mi>R</mi></mrow></munder><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">O</mi><mo>-</mo><mi mathvariant="bold-italic">I</mi><mo>⊙</mo><mi mathvariant="bold-italic">R</mi></mrow></mfenced></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi mathvariant="fraktur">R</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">I</mi></mrow></mfenced><mo>+</mo><msub><mrow><mi mathvariant="fraktur">R</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">R</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113574&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113570&type= 56.81133270 6.60400009 ， 其中， <math id="M8"><msub><mrow><mi mathvariant="fraktur">R</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">I</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113584&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113580&type= 9.39799976 3.97933316 和 <math id="M9"><msub><mrow><mi mathvariant="fraktur">R</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">R</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113588&type= 10.32933331 3.97933316 分别是光照分量 <math id="M10"><mi mathvariant="bold-italic">I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113771&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113768&type= 1.86266661 2.79399991 和反射分量 <math id="M11"><mi mathvariant="bold-italic">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113773&type= 2.87866688 2.79399991 的两个不同的正则化函数。STAR模型选择在平均局部变差滤波器 ［ 22 22 ］ （MLV）中添加一个指数项作为方程（2）中光照分量和反射分量的正则化函数，其目的是通过局部导数进行指数级变化来让光照分量捕捉场景的结构信息，同时也让反射分量捕捉场景的纹理信息。对应的结构和纹理的约束定义如下： <math display="block" id="M12"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced separators="|"><mrow><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="normal">Ω</mi></mrow></mfenced></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi mathvariant="normal">Ω</mi></mrow></munder><mrow><mo>∇</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>O</mi></mrow></msub></mrow></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub></mrow></msup><mo>+</mo><mi>ε</mi></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113624&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113619&type= 40.04733276 17.78000069 ， <math display="block" id="M13"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced separators="|"><mrow><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="normal">Ω</mi></mrow></mfenced></mrow></mfrac><munder><mo movablelimits="false">∑</mo><mrow><mi mathvariant="normal">Ω</mi></mrow></munder><mrow><mo>∇</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>O</mi></mrow></msub></mrow></mrow></mfenced></mrow><mrow><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msup><mo>+</mo><mi>ε</mi></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113628&type= 41.48666382 17.78000069 ， 其中：除法表示对矩阵每个元素进行除法运算， <math id="M14"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mn mathvariant="normal">0.5</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113643&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113638&type= 23.53733444 3.97933316 ， <math id="M15"><mfenced open="|" close="|" separators="|"><mrow><mi mathvariant="normal">Ω</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113646&type= 4.65666676 3.97933316 表示每个像素的局部区域 <math id="M16"><mi mathvariant="normal">Ω</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113659&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113654&type= 2.45533323 2.79399991 中的元素数， <math id="M17"><mo>∇</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113668&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113664&type= 6.01133299 4.06400013 表示光照分量的梯度， <math id="M18"><mo>∇</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113679&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113675&type= 7.19666624 4.06400013 表示反射分量的梯度， <math id="M19"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>></mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114393&type= 9.48266602 4.57200003 和 <math id="M20"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo><</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114404&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114401&type= 9.48266602 4.57200003 是两个指数参数，可用于调整结构和纹理来映射光照量和反射分量的分解， <math id="M21"><mi>ε</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113706&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113701&type= 1.43933344 2.79399991 是避免分母为0参数，可设置为 <math id="M22"><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">6</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113716&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113710&type= 6.60400009 3.04800010 。 具体地，STAR模型可通过求解如下的优化问题来得到光照分量和反射分量： <math display="block" id="M23"><mtable columnalign="left"><mtr><mtd><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="bold-italic">I</mi><mo>,</mo><mi mathvariant="bold-italic">R</mi></mrow></munder><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">O</mi><mo>-</mo><mi mathvariant="bold-italic">I</mi><mo>⊙</mo><mi mathvariant="bold-italic">R</mi></mrow></mfenced></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><mi>α</mi><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>⊙</mo><mo>∇</mo><mi mathvariant="bold-italic">I</mi></mrow></mfenced></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo></mtd></mtr><mtr><mtd><mi>β</mi><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi>O</mi></mrow></msub><mo>⊙</mo><mo>∇</mo><mi mathvariant="bold-italic">R</mi></mrow></mfenced></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113726&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113722&type= 56.55733109 14.39333248 其中： <math id="M24"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113736&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113730&type= 4.06400013 3.72533321 和 <math id="M25"><msub><mrow><mi mathvariant="bold-italic">T</mi></mrow><mrow><mi>O</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113744&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113739&type= 4.31799984 3.72533321 是方程（3）（4）中的定义的矩阵，分别表示光照分量的结构特征和反射分量的纹理特征， <math id="M26"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114618&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114613&type= 1.94733346 2.79399991 和 <math id="M27"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114650&type= 2.28600001 3.64066648 表示惩罚项系数。由于方程（5）中的两个变量 <math id="M28"><mi mathvariant="bold-italic">I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113771&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113768&type= 1.86266661 2.79399991 和 <math id="M29"><mi mathvariant="bold-italic">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113773&type= 2.87866688 2.79399991 是可以分离的，并且求解这两个分离的变量的子问题是凸的，所以可以迭代地通过固定一个变量然后求解另外一个变量的方法求解，直到满足收敛条件 <math id="M30"><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>F</mi></mrow></msub><mo>/</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>F</mi></mrow></msub><mo>≤</mo><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113788&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113782&type= 36.32199860 4.65666676 或 <math id="M31"><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>F</mi></mrow></msub><mo>/</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>F</mi></mrow></msub><mo>≤</mo><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113798&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113793&type= 39.87799835 4.65666676 ，或者迭代的次数超过预设的阈值 <math id="M32"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113809&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113804&type= 3.04800010 2.79399991 为止。在本文的实验中，设置 <math id="M33"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114723&type= 13.37733269 4.57200003 ， <math id="M34"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114731&type= 13.29266548 4.57200003 ， <math id="M35"><mi>η</mi><mo>=</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113833&type= 13.29266548 3.89466691 ， <math id="M36"><mi>K</mi><mo>=</mo><mn mathvariant="normal">20</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113849&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113842&type= 11.43000031 2.79399991 ， <math id="M37"><mi>α</mi><mo>=</mo><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113855&type= 23.02933502 3.64066648 ，它们的选择方法将在实验结果和分析部分进行更多的讨论。 图2 图2 给出了STAR模型使用这些参数对一组红外与可见光图像进行分解的结果，并与经典的基于中心环绕的多尺度Retinex（MSR） ［ 19 19 ］ 模型进行了比较。从中可以看出，STAR模型在提取光照分量和反射分量时能够更好地分离原图像的结构和纹理信息，如在分离的光照分量中，STAR模型提取的路灯和人物背影等结构信息更加清晰；在分离的反射分量中，STAR模型提取的树叶、人物衣服等纹理特征细节信息更加丰富。 2.2　Retinex分量的融合 2 对于给定的一组可见光图像 <math id="M38"><msub><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113881&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113875&type= 4.65666676 3.72533321 和红外图像 <math id="M39"><msub><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113886&type= 4.40266657 3.72533321 ，通过上述基于结构和纹理感知的Retinex模型可将它们分解为光照分量 <math id="M40"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113897&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113893&type= 8.21266651 4.14866638 和反射分量 <math id="M41"><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113905&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113901&type= 10.58333302 4.14866638 ，即： <math display="block" id="M42"><msub><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>⊙</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>A</mi></mrow></msub><mo>,</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113914&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113910&type= 22.77533340 4.48733330 <math display="block" id="M43"><msub><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi>B</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi>B</mi></mrow></msub><mo>⊙</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113920&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113918&type= 20.23533440 4.40266657 . 下面具体介绍如何对所得的Retinex分量进行融合。 2 . 2 . 1　反射分量的融合 3 由于通过前面的结构和纹理感知的Retinex模型所提取的反射分量包含源图像的丰富的纹理特征信息，因此本文通过构造一个能体现源图像特征信息的权值映射来对其进行融合，以增强融合图像的细节特征。为了减少噪声对权值映射构造的影响，本文首先对输入的红外和可见光图像通过结构滤波器进行平滑，然后计算平滑图像的二阶梯度的最大值得到初始的权值映射，最后通过联合双边滤波对该映射进行平滑，以保证图像的无缝融合 ［ 11 11 ， 23 23 - 24 24 23-24 ］ ，如 图3 图3 所示。 具体地，本文首先使用如下的局部结构滤波器 ［ 24 24 ］ 来平滑源图像 <math id="M44"><mi mathvariant="bold-italic">O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113943&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113938&type= 2.96333337 2.79399991 的噪声： <math display="block" id="M45"><mi mathvariant="bold-italic">N</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>μ</mi></mrow><mrow><mi>p</mi></mrow></msub><mo>+</mo><mfrac><mrow><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow><mrow><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>+</mo><msup><mrow><msub><mrow><mi>σ</mi></mrow><mrow><mi>d</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mfrac><mfenced separators="|"><mrow><mi mathvariant="bold-italic">O</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>μ</mi></mrow><mrow><mi>p</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113947&type= 56.38800049 9.31333351 ， 其中： <math id="M46"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113959&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113956&type= 2.28600001 3.64066648 表示图像的像素点， <math id="M47"><msub><mrow><mi>μ</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113966&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113963&type= 3.30200005 4.57200003 和 <math id="M48"><msub><mrow><mi>σ</mi></mrow><mrow><mi>p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113974&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113970&type= 2.87866688 3.72533321 分别是以当前像素点为中心的 <math id="M49"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114030&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114028&type= 8.63599968 2.79399991 的滑动窗口的灰度值的均值和方差， <math id="M50"><msub><mrow><mi>σ</mi></mrow><mrow><mi>d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113991&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113987&type= 3.04800010 3.72533321 表示是源图像的灰度值的最小方差。随后，本文利用平滑后的图像 <math id="M51"><mi mathvariant="bold-italic">N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113998&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38113994&type= 3.38666677 2.96333337 求出二阶梯度图像 <math id="M52"><mi mathvariant="bold-italic">G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114006&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114002&type= 2.87866688 2.79399991 。因为梯度的操作可能会在均匀区域产生孔洞，并且由于卷积可以和膨胀得到相同的结果 ［ 25 25 ］ ，所以采用如下运算来补全由于梯度操作在均匀区域产生的孔洞： <math display="block" id="M53"><mi mathvariant="bold-italic">Q</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="bold-italic">G</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>⊗</mo><mi mathvariant="bold-italic">T</mi></mrow></mfenced><mo>⊗</mo><mi mathvariant="bold-italic">T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114010&type= 53.84799957 4.82600021 ， 其中： <math id="M54"><mi mathvariant="bold-italic">T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114023&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114018&type= 2.87866688 2.79399991 表示以当前像素为中心的 <math id="M55"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114030&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114028&type= 8.63599968 2.79399991 的滑动窗口模板矩阵， <math id="M56"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114039&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114035&type= 3.55599999 3.55599999 表示对图像的每个像素点进行卷积运算。在此基础上，可以通过比较由 公式（9） 公式（9） 处理后的梯度值的大小得到一个初始的权值映射。记可见光图像和红外图像所得到的初始权值映射分别为 <math id="M57"><msub><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114043&type= 4.65666676 3.72533321 和 <math id="M58"><msub><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114051&type= 4.48733330 3.72533321 ，其形式具体如 式（10） 式（10） ： <math display="block" id="M59"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mn mathvariant="normal">1</mn><mtable><mtr><mtd><mo>,</mo></mtd><mtd><mtext>     </mtext><msub><mrow><mi mathvariant="bold-italic">Q</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>></mo><msub><mrow><mi mathvariant="bold-italic">Q</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></mtd></mtr><mtr><mtd><mn mathvariant="normal">0.5</mn><mtable><mtr><mtd><mo>,</mo></mtd><mtd><msub><mrow><mi mathvariant="bold-italic">Q</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo> </mo><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">Q</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mtable><mtr><mtd><mo>,</mo></mtd><mtd><mtext>     </mtext><msub><mrow><mi mathvariant="bold-italic">Q</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo><</mo><msub><mrow><mi mathvariant="bold-italic">Q</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mtd></mtr></mtable></mtd></mtr></mtable></mrow></mfenced><mo>,</mo></mtd></mtr><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi>A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114059&type= 58.41999817 23.11400032 尽管初始的权值映射能够有效地度量红外和可见光图像的重要信息，但是也容易导致其在图像边缘部分急剧变化。为了有效地拼接图像边缘，本文利用联合双边滤波 ［ 11 11 ， 23 23 - 24 24 23-24 ］ 对初始权值映射 <math id="M60"><msub><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114073&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114067&type= 4.65666676 3.72533321 和 <math id="M61"><msub><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114081&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114077&type= 4.48733330 3.72533321 分别进行平滑，以得到更为优化的权值映射，记为 <math id="M62"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114240&type= 5.41866684 3.80999994 和 <math id="M63"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114098&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114093&type= 5.16466665 3.80999994 。 通过对权值映射 <math id="M64"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114240&type= 5.41866684 3.80999994 和 <math id="M65"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114112&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114108&type= 5.16466665 3.80999994 进行归一化处理，并用其对反射分量进行融合，即： <math display="block" id="M66"><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>⋅</mo><mfrac><mrow><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mrow></mfrac><mo>+</mo><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>⋅</mo><mfrac><mrow><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114120&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114116&type= 99.73733521 9.39799976 . 能够有效地捕获可见光图像和红外图像的纹理特征。 2 . 2 . 2　光照分量的融合 3 由于通过前面的结构和纹理感知的Retinex模型所提取的光照分量能够反映图像的亮度信息，因此本文使用伽马函数对光照分量进行融合，使得融合后图像的亮度信息更加显著。具体地，对于可见光图像和红外图像的光照分量 <math id="M67"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114128&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114124&type= 3.30200005 3.72533321 和 <math id="M68"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114136&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114131&type= 3.13266683 3.72533321 ，采用如式（12）的方式得到融合后的光照分量 <math id="M69"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114145&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114139&type= 3.13266683 3.72533321 ： <math display="block" id="M70"><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>·</mo><mfrac><mrow><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></mfrac><mo>+</mo><mtext>          </mtext><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo>·</mo><mfrac><mrow><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></mfrac><mo>,</mo><mtext>           </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">12</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114151&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114149&type= 141.22399902 9.39799976 其中： <math id="M71"><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114158&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114155&type= 3.04800010 4.57200003 为 <math id="M72"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114166&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114162&type= 3.04800010 3.72533321 的伽马函数， <math id="M73"><msub><mrow><mi>η</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114174&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114169&type= 3.04800010 4.57200003 为 <math id="M74"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114183&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114179&type= 2.87866688 3.72533321 的伽马函数，其具体形式如 式（13） 式（13） 所示： <math display="block" id="M75"><msub><mrow><mi>η</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced open="|" close="" separators="|"><mrow><msub><mrow/><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn></mrow></msub></mrow></mfenced><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mtable><mtr><mtd><msup><mrow><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi>ς</mi></mrow></msup><mo>⋅</mo><mn mathvariant="normal">0</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">5</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi>ς</mi></mrow></msup></mtd><mtd><mn mathvariant="normal">0</mn><mo><</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>≤</mo><mn mathvariant="normal">0.5</mn></mtd></mtr></mtable></mtd></mtr><mtr><mtd><mtable><mtr><mtd><mn mathvariant="normal">1</mn><mo>-</mo><msup><mrow><mfenced separators="|"><mrow><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>ς</mi></mrow></msup><mo>⋅</mo><mn mathvariant="normal">0</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">5</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>-</mo><mi>ς</mi></mrow></msup></mtd><mtd><mn mathvariant="normal">0.5</mn><mo><</mo></mtd></mtr></mtable><msub><mrow><mi>l</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>≤</mo><mn mathvariant="normal">1</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114191&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114186&type= 71.96665955 10.92199993 ， 其中， <math id="M76"><mi>ς</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114686&type= 1.69333339 3.64066648 为控制加权函数的参数。如果 <math id="M77"><mi>ς</mi><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114206&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114203&type= 8.29733276 3.64066648 ，该融合转为简单的算术平均；如果 <math id="M78"><mi>ς</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114686&type= 1.69333339 3.64066648 的值越大，意味着更多的亮度信息被融合到最终的结果中。在本文的实验中，设置 <math id="M79"><mi>ς</mi><mo>=</mo><mn mathvariant="normal">10</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114749&type= 10.15999985 3.64066648 可以取得较好的效果，如 图4 图4 所示。 在实际的融合过程中，通过基于结构和纹理感知的Retinex模型所提取的光照分量可能还包含少部分的特征信息，可以利用双边滤波对该部分特征信息进一步分离，对分离的特征信息采用前面介绍的权值映射 <math id="M80"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">A</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114240&type= 5.41866684 3.80999994 和 <math id="M81"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114247&type= 5.16466665 3.80999994 进行融合，对分离特征后的光照分量采用公式（12）进行融合，可以进一步提高融合图像的质量。 2.3　融合分量的重建 2 基于上述得到的可见光图像和红外图像的Retinex分量的融合结果，可以通过如下Retinex模型分解的逆变换重建得到最后融合图像，即： <math display="block" id="M82"><msub><mrow><mi mathvariant="bold-italic">O</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub><mo>⊙</mo><msub><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi mathvariant="normal">F</mi></mrow></msub><mo>.</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114263&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114259&type= 22.18266678 4.40266657 为了说明本文使用的反射分量和光照分量的权值映射的有效性， 图5 图5 给出了Bush图像仅使用其中一种权值映射对相应的分量进行融合的结果，此时另外一个分量使用简单的算术平均进行计算，即融合时红外图像和可见光图像的另外一个分量的权值各占二分之一。当只使用本文的反射分量的权值映射进行融合时，融合结果能够有效地捕捉到红外和可见光图像的纹理特征，但是不能很好地将它们的亮度信息进行融合（ 图5 图5 左）。相反地，当只使用本文的光照分量的权值映射进行融合时，融合结果能够较好地捕捉到红外和可见光图像的亮度信息，但是不能很好地融合它们的纹理特征（ 图5 图5 中）；当同时使用本文的反射分量和光照分量的权值映射进行融合时，则能够在纹理特征和亮度信息上均取得较好的融合结果，如 图5 图5 右所示。 在本文基于Retinex的红外和可见光图像的融合框架下，能够增强低光照图像的对比度的同时恢复图像的纹理细节特征，如 图6 图6 所示。然而，经典的MSR模型 ［ 19 19 ］ 在融合过程中不但容易导致细节特征丢失（如 图6 图6 中Road图像标记区域没有显示行人），而且在强边处也产生了比较明显的人工效应（如 图6 图6 中Movie图像标记的房屋屋顶附近出现的大面积黑色阴影）。与经典的MSR模型 ［ 19 19 ］ 不同，本文采用的基于结构和纹理感知的Retinex模型能够将源图像的纹理和结构信息更好地分离，在本文的融合框架下能够取得更好的融合结果。 3 实验结果和分析 1 本文在Intel（R）处理器，CPU主频2.5 GHz，内存16 GB下的MATLAB R2018b环境下实现了上述算法，并针对38组红外可见光图像（ 图7 图7 ）对其进行了测试。这些图像来自于TNO红外/可见光图像数据库（ https：//figshare.com/articles/TNO_Image_ Fusion_Dataset/1008029 https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029 ），它们在红外与可见光图像的融合中得到了研究者的广泛使用。 3.1　客观评价指标 2 本文采用了5种广泛使用的图像融合的客观评价指标来比较不同算法的融合性能，这些指标包括互信息（Mutual Infarmation， MI） ［ 26 26 ］ 、非线性相关信息熵（ <math id="M83"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114875&type= 7.87400007 4.14866638 ） ［ 27 27 ］ 、图像相位一致性度量（ <math id="M84"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114882&type= 4.23333359 4.14866638 ） ［ 28 28 ］ 、空间频率（Spatial Frequency， SF）、平均梯度（Average Gradient， AG）。MI表示融合图像与源图像之间的相互关联程度， <math id="M85"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114875&type= 7.87400007 4.14866638 反映了融合图像与源图像之间的非线性相关性， <math id="M86"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114882&type= 4.23333359 4.14866638 反映了融合图像与源图像在相位结构特征方面的一致性，SF代表了融合图像的频率信息的丰富程度，AG可以刻画融合图像边缘特征的清晰程度。MI， <math id="M87"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114875&type= 7.87400007 4.14866638 ， <math id="M88"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114483&type= 4.23333359 4.14866638 ，SF，AG的值越大，说明融合图像具有更高的融合质量。 3.2　主要参数设置 2 本文所涉及的主要参数包括结构和纹理感知的Retinex模型中的 <math id="M89"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114536&type= 2.79399991 4.57200003 ， <math id="M90"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114435&type= 2.70933342 4.57200003 ， <math id="M91"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114443&type= 1.94733346 2.79399991 ， <math id="M92"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114650&type= 2.28600001 3.64066648 以及光照分量融合中的 <math id="M93"><mi>ς</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114686&type= 1.69333339 3.64066648 ，其中 <math id="M94"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>></mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114393&type= 9.48266602 4.57200003 ， <math id="M95"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo><</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114404&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114401&type= 9.48266602 4.57200003 分别用于调整分解所得的光照分量的结构特征和反射分量的纹理特征， <math id="M96"><mn mathvariant="normal">0</mn><mo><</mo><mi>α</mi><mo>,</mo><mi>β</mi><mo><</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114412&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114408&type= 19.13466644 3.64066648 分别决定结构分量和纹理分量的正则化强度， <math id="M97"><mi>ς</mi><mo>></mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114416&type= 8.29733276 3.64066648 用于控制光照分量融合中伽马函数的形状。 本文通过选取不同的 <math id="M98"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114536&type= 2.79399991 4.57200003 ， <math id="M99"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114435&type= 2.70933342 4.57200003 ， <math id="M100"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114443&type= 1.94733346 2.79399991 ， <math id="M101"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114457&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114452&type= 2.28600001 3.64066648 ， <math id="M102"><mi>ς</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114686&type= 1.69333339 3.64066648 对 图7 图7 中的数据集进行测试，并计算MI， <math id="M103"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114476&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114471&type= 7.87400007 4.14866638 ， <math id="M104"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114483&type= 4.23333359 4.14866638 ，SF，AG这5个图像融合的客观评价指标的平均值来评价这几个参数对图像融合性能的影响（ 图8 图8 ），并据此选择合适的参数。根据每个参数所在的合理范围，本文设置 <math id="M105"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114536&type= 2.79399991 4.57200003 =｛1，1.5，2，2.5，3，3.5，4｝， <math id="M106"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114506&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114501&type= 2.70933342 4.57200003 =｛0.1，0.3，0.5，0.7，0.9，1｝， <math id="M107"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114618&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114613&type= 1.94733346 2.79399991 = <math id="M108"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114650&type= 2.28600001 3.64066648 =｛0.000 1，0.001，0.01，0.1，1｝以及 <math id="M109"><mi>ς</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114686&type= 1.69333339 3.64066648 =｛1，5，10，15，20｝来进行实验。当分析 <math id="M110"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114536&type= 2.79399991 4.57200003 时，其他参数分别设置为 <math id="M111"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114731&type= 13.29266548 4.57200003 ， <math id="M112"><mi>α</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114737&type= 16.25600052 2.79399991 ， <math id="M113"><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114745&type= 16.51000023 3.64066648 ， <math id="M114"><mi>ς</mi><mo>=</mo><mn mathvariant="normal">10</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114749&type= 10.15999985 3.64066648 。当分析 <math id="M115"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114578&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114572&type= 2.70933342 4.57200003 时，其他参数设置为 <math id="M116"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114723&type= 13.37733269 4.57200003 ， <math id="M117"><mi>α</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114737&type= 16.25600052 2.79399991 ， <math id="M118"><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114745&type= 16.51000023 3.64066648 ， <math id="M119"><mi>ς</mi><mo>=</mo><mn mathvariant="normal">10</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114749&type= 10.15999985 3.64066648 。当分析 <math id="M120"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114618&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114613&type= 1.94733346 2.79399991 时，其他参数设置为 <math id="M121"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114723&type= 13.37733269 4.57200003 ， <math id="M122"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114731&type= 13.29266548 4.57200003 ， <math id="M123"><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114745&type= 16.51000023 3.64066648 ， <math id="M124"><mi>ς</mi><mo>=</mo><mn mathvariant="normal">10</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114749&type= 10.15999985 3.64066648 。当分析 <math id="M125"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114650&type= 2.28600001 3.64066648 时，其他参数设置为 <math id="M126"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114723&type= 13.37733269 4.57200003 ， <math id="M127"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114731&type= 13.29266548 4.57200003 ， <math id="M128"><mi>α</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114737&type= 16.25600052 2.79399991 ， <math id="M129"><mi>ς</mi><mo>=</mo><mn mathvariant="normal">10</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114749&type= 10.15999985 3.64066648 。当分析 <math id="M130"><mi>ς</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114686&type= 1.69333339 3.64066648 时，其他参数设置为 <math id="M131"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114723&type= 13.37733269 4.57200003 ， <math id="M132"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114731&type= 13.29266548 4.57200003 ， <math id="M133"><mi>α</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114737&type= 16.25600052 2.79399991 ， <math id="M134"><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114745&type= 16.51000023 3.64066648 。通过 图8 图8 可以看出，本文所选取的 <math id="M135"><msub><mrow><mi>γ</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">2.5</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114727&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114723&type= 13.37733269 4.57200003 ， <math id="M136"><msub><mrow><mi>γ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0.3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114731&type= 13.29266548 4.57200003 ， <math id="M137"><mi>α</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114737&type= 16.25600052 2.79399991 ， <math id="M138"><mi>β</mi><mo>=</mo><mn mathvariant="normal">0.001</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114745&type= 16.51000023 3.64066648 ， <math id="M139"><mi>ς</mi><mo>=</mo><mn mathvariant="normal">10</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114749&type= 10.15999985 3.64066648 这5个参数值，综合来看可以取得较好的融合性能。 3.3　方法比较 2 为了验证本文所提出方法的有效性，本文同近年来提出的5种高水平的红外与可见光图像融合方法在主观评价和客观评价两方面进行了比较，这些方法分别为基于相位一致性和局部拉普拉斯能量的非下采样轮廓波变换方法（NSCT-PCLE） ［ 5 5 ］ 、基于结构片分解的方法（MSID） ［ 12 12 ］ 、基于梯度滤波的方法（GTF） ［ 7 7 ］ 、基于卷积神经网络的方法（IFCNN） ［ 15 15 ］ 、基于多尺度变换和范数优化的方法（MSNO） ［ 10 10 ］ 。 3 . 3 . 1　主观评价比较 3 为了更加清晰地说明本文方法的优势，本文展示了5幅不同场景下红外与可见光图像融合方法的可视化比较结果（ 图9 图9 ~ 图13 图13 ）。在比较过程中，本文通过红色方框标记出了有明显差异的融合区域，并对部分结果进行了局部放大显示（彩图见期刊电子版）。 图9 图9 为Street图像不同方法融合结果的比较。在可见光图像中，左上方的广告牌比较清晰，但是其他的细节特征比较模糊。红外图像能够反映出车辆、行人等细节特征，但是左上方的广告牌并不清晰。从不同的融合方法得到的结果来看，比较的6种方法都基本实现了红外与可见光的融合，但是这些方法在细节方面也呈现出了较大的差异。NSCT-PCLE方法在广告牌处产生了伪影；MSID，GTF，IFCNN，MSNO等方法在凳子等地方细节特征不够清晰；本文方法融合结果能够更加有效地均衡红外与可见光图像的信息，融合结果的细节特征也更为清晰。 图10 图10 为Meting图像不同方法融合结果的比较。在可见光图像中，房子的窗户、邮箱的轮廓以及树干、树枝比较清晰，但是行人信息不太明显。在红外图像中，邮箱前面的行人比较清晰，但是房子、邮箱、树等背景信息较为模糊。从不同的融合方法得到的结果可以看出，NSCT-PCLE方法、MSID方法在天空部分出现了黑色斑块，房子、邮箱及前面的人物的边缘信息也不够清晰；GTF方法在天空部分产生了伪影；IFCNN方法丢失了一些细节特征（如树枝等）；MSNO方法天空的亮度偏低，并且在房屋边缘出现了伪影；本文方法融合结果能够较好地融合源图像的细节特征，并且没有出现黑斑和伪影等现象。 图11 图11 为Octec图像不同方法融合结果的比较。在可见光图像中，树枝地面纹路比较清晰，但是房子的主体被烟所遮盖。在红外图像中，房子边缘及主体都比较清晰，但是天空和云朵过渡不自然，地面缺少纹路信息。从不同的融合方法的结果可以看出，NSCT-PCLE方法在天空和地面都有大量黑色斑块；MSID方法在房屋墙面和地面处产生了黑色斑块；GTF方法融合的天空和云朵过渡不自然，且地面纹路不清晰；IFCNN方法融合的树枝及地面等细节特征不明显；MSNO方法天空的亮度偏低，而且在天空与树枝之间存在亮斑。与这些方法相比，本文方法融合的天空与云朵过渡自然，树枝地面等细节特征更为清晰。 图12 图12 为Maninhuis图像不同方法融合结果的比较。在可见光图像中，天空的亮度比较高；在红外图像中，房子及路牌边缘主体都比较清晰，但是天空偏暗。从不同的融合方法的结果可以看出，NSCT-PCLE方法在天空处有明显的黑色斑块，路牌的对比度也比较低；MSID方法和GTF方法在天空处有灰色斑块；IFCNN方法虽然能够较好地融合房屋边缘，但是路牌中间白条部分不清晰；MSNO方法整体虽然有较高的对比度，但是天空的亮度偏低，路牌和邮箱等物体的亮度则偏高。与这些方法相比，本文方法融合的天空、路牌没有出现明显伪影，树枝等细节特征也更为清晰。 图13 图13 为Walls图像不同方法融合结果的比较。从中可以看出，NSCT-PCLE方法没有显示树叶树枝；MSID方法融合的物体边缘不清晰，轮廓出现了一定程度的模糊；GTF方法丢失了树叶等细小的纹理细节特征；IFCNN方法虽然得到了较为清晰的细节特征，但是整体对比度低；MSNO方法在墙面上丢失了较多的特征信息。与这些方法相比，本文方法树叶树枝等细节特征更为清晰，墙面上的信息也更为完整，整体对比度更高。 通过上面的主观评价的分析可以看出，本文方法与近年来提出的5种高水平的红外与可见光图像融合方法相比，能够更加有效地融合红外和可见光的纹理特征信息和亮度信息，提高了整体对比度，而且在不同场景都取得了较好的效果。 3 . 3 . 2　客观评价比较 3 表1 表1 给出了各种方法对于本文实验的38组图像的所有评价指标的平均值。从中可以看出，本文方法在MI， <math id="M140"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114833&type= 7.87400007 4.14866638 ， <math id="M141"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114844&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114840&type= 4.23333359 4.14866638 上具有最好的性能，在SF，AG上取得了仅次于MSNO方法的结果。虽然MSNO方法在SF，AG上取得了比本文方法更好的结果，但是该方法在融合时没有很好地兼顾到亮度信息和细节特征的融合，导致出现了一些过亮或者过暗的区域，影响了图像的视觉效果。 Evaluation metrics NSCT-PCLE GTF MSID IFCNN MSNO Ours MI 2.657 2 2.493 2 2.381 3 2.547 6 1.731 5 3.030 6 <math id="M142"><msub><mrow><mi mathvariant="normal">Q</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114852&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114847&type= 6.94266701 3.55599999 0.807 0 0.806 0 0.805 8 0.806 0 0.804 2 0.809 0 <math id="M143"><msub><mrow><mi mathvariant="normal">Q</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114861&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114856&type= 3.72533321 3.55599999 0.298 6 0.393 2 0.417 5 0.347 0 0.360 4 0.468 8 SF 6.162 5 4.855 1 5.891 9 6.316 9 8.977 5 6.576 9 AG 4.944 4 3.676 9 4.740 5 4.981 0 9.503 6 5.533 1 4 结 论 1 为了提高红外与可见光图像的融合质量，本文提出了一种基于结构和纹理感知的Retinex模型的红外与可见光图像融合方法。方法首先通过基于结构和纹理感知的Retinex模型将源图像分解为光照分量和反射分量，然后通过构造源图像的特征映射和伽马函数对它们进行融合，可以有效地提高图像融合的质量。大量的实验结果表明，本文融合图像不仅细节特征清晰，整体对比度较高，而且与近年来5种高水平的红外及可见光图像融合方法（NSCT-PCLE，MSID，GTF，IFCNN，MSNO）相比，互信息（MI）、非线性相关信息熵（ <math id="M144"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">C</mi><mi mathvariant="normal">E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114875&type= 7.87400007 4.14866638 ）、图像相位一致性度量（ <math id="M145"><msub><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">P</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114884&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=38114882&type= 4.23333359 4.14866638 ）平均提高了22.06%，0.4%，22.49%，能够较好地解决红外与可见光图像融合过程中出现的细节特征缺失和对比度较低的问题。 本文提出的基于结构和纹理感知的Retinex的红外与可见光图像融合方法具有较好的应用前景，尤其是针对低光照场景下的红外与可见光图像融合需求。例如在安防领域的夜间场景的监控中，红外图像不受夜间光照不足的影响，能够显示场景中的热目标，但是在对比度和纹理特征显示方面表现不佳，可见光图像能够显示更多的纹理和细节特征，但是在夜间得到的可见光像的亮度较低，通过本文方法可以将夜间场景下的红外与可见光图像进行融合，能够获得对比度较高、细节特征较为丰富的图像，有利于夜间场景的视觉感知。此外，同其他红外与可见光图像融合技术一样，本文方法还可以应用在军事、农业、医学、遥感等众多领域。在未来的研究中，可以考虑将其具体应用到这些领域的实际场景中。 参考文献 MA J ， MA Y ， LI C . Infrared and visible image fusion methods and applications： A survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 . Infrared and visible image fusion methods and applications： A survey BULANON D M ， BURKS T F ， ALCHANATIS V . Image fusion of visible and thermal images for fruit detection ［J］. Biosystems Engineering ， 2009 ， 103 （ 1 ）： 12 - 22 . Image fusion of visible and thermal images for fruit detection SAEEDI J ， FAEZ K . Infrared and visible image fusion using fuzzy logic and population-based optimization ［J］. Applied Soft Computing ， 2012 ， 12 （ 3 ）： 1041 - 1054 . Infrared and visible image fusion using fuzzy logic and population-based optimization 林剑萍 ， 廖一鹏 . 结合分数阶显著性检测及量子烟花算法的NSST域图像融合 ［J］. 光学 精密工程 ， 2021 ， 29 （ 6 ）： 1406 - 1419 . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406 结合分数阶显著性检测及量子烟花算法的NSST域图像融合 LIN J P ， LIAO Y P . A novel image fusion method with fractional saliency detection and QFWA in NSST ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 6 ）： 1406 - 1419 . （in Chinese） . doi: 10.37188/OPE.20212906.1406 http://dx.doi.org/10.37188/OPE.20212906.1406 A novel image fusion method with fractional saliency detection and QFWA in NSST ZHU Z Q ， ZHENG M Y ， QI G Q ， et al . A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain ［J］. IEEE Access ， 2019 ， 7 ： 20811 - 20824 . doi: 10.1109/access.2019.2898111 http://dx.doi.org/10.1109/access.2019.2898111 A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain GAN W ， WU X H ， WU W ， et al . Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter ［J］. Infrared Physics & Technology ， 2015 ， 72 ： 37 - 51 . Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter MA J Y ， ZHOU Y . Infrared and visible image fusion via gradientlet filter ［J］. Computer Vision and Image Understanding ， 2020 ， 197 / 198 ： 103016 . Infrared and visible image fusion via gradientlet filter 刘先红 ， 陈志斌 ， 秦梦泽 . 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 ［J］. 光学 精密工程 ， 2018 ， 26 （ 5 ）： 1242 - 1253 . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242 结合引导滤波和卷积稀疏表示的红外与可见光图像融合 LIU X H ， CHEN ZH B ， QIN M Z . Infrared and visible image fusion using guided filter and convolutional sparse representation ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 5 ）： 1242 - 1253 . （in Chinese） . doi: 10.3788/OPE.20182605.1242 http://dx.doi.org/10.3788/OPE.20182605.1242 Infrared and visible image fusion using guided filter and convolutional sparse representation 陈潮起 ， 孟祥超 ， 邵枫 ， 等 . 一种基于多尺度低秩分解的红外与可见光图像融合方法 ［J］. 光学学报 ， 2020 ， 40 （ 11 ）： 72 - 80 . doi: 10.3788/aos202040.1110001 http://dx.doi.org/10.3788/aos202040.1110001 一种基于多尺度低秩分解的红外与可见光图像融合方法 CHEN CH Q ， MENG X CH ， SHAO F ， et al . Infrared and visible image fusion method based on multiscale low-rank decomposition ［J］. Acta Optica Sinica ， 2020 ， 40 （ 11 ）： 72 - 80 . （in Chinese） . doi: 10.3788/aos202040.1110001 http://dx.doi.org/10.3788/aos202040.1110001 Infrared and visible image fusion method based on multiscale low-rank decomposition LI G F ， LIN Y J ， QU X D . An infrared and visible image fusion method based on multi-scale transformation and norm optimization ［J］. Information Fusion ， 2021 ， 71 ： 109 - 129 . An infrared and visible image fusion method based on multi-scale transformation and norm optimization ZHAN K ， KONG L W ， LIU B ， et al . Multimodal image seamless fusion ［J］. Journal of Electronic Imaging ， 2019 ， 28 ： 023027 . Multimodal image seamless fusion LI H ， QI X B ， XIE W Y . Fast infrared and visible image fusion with structural decomposition ［J］. Knowledge-Based Systems ， 2020 ， 204 ： 106182 . Fast infrared and visible image fusion with structural decomposition LIU Y ， CHEN X ， WANG Z F ， et al . Deep learning for pixel-level image fusion： recent advances and future prospects ［J］. Information Fusion ， 2018 ， 42 ： 158 - 173 . Deep learning for pixel-level image fusion： recent advances and future prospects 杨艳春 ， 高晓宇 ， 党建武 ， 等 . 基于WEMD和生成对抗网络重建的红外与可见光图像融合 ［J］. 光学 精密工程 ， 2022 ， 30 （ 3 ）： 320 - 330 . doi: 10.37188/OPE.20223003.0320 http://dx.doi.org/10.37188/OPE.20223003.0320 基于WEMD和生成对抗网络重建的红外与可见光图像融合 YANG Y CH ， GAO X Y ， DANG J W ， et al . Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction ［J］. Opt. Precision Eng. ， 2022 ， 30 （ 3 ）： 320 - 330 . （in Chinese） . doi: 10.37188/OPE.20223003.0320 http://dx.doi.org/10.37188/OPE.20223003.0320 Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction ZHANG Y ， LIU Y ， SUN P ， et al . IFCNN： a general image fusion framework based on convolutional neural network ［J］. Information Fusion ， 2020 ， 54 ： 99 - 118 . IFCNN： a general image fusion framework based on convolutional neural network 刘博 ， 韩广良 ， 罗惠元 . 基于多尺度细节的孪生卷积神经网络图像融合算法 ［J］. 液晶与显示 ， 2021 ， 36 （ 9 ）： 1283 - 1293 . doi: 10.37188/CJLCD.2020-0339 http://dx.doi.org/10.37188/CJLCD.2020-0339 基于多尺度细节的孪生卷积神经网络图像融合算法 LIU B ， HAN G L ， LUO H Y . Image fusion algorithm based on multi-scale detail Siamese convolutional neural network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 9 ）： 1283 - 1293 . （in Chinese） . doi: 10.37188/CJLCD.2020-0339 http://dx.doi.org/10.37188/CJLCD.2020-0339 Image fusion algorithm based on multi-scale detail Siamese convolutional neural network LAND E H ， MCCANN J J . Lightness and retinex theory ［J］. Journal of the Optical Society of America ， 1971 ， 61 （ 1 ）： 1 - 11 . doi: 10.1364/josa.61.000001 http://dx.doi.org/10.1364/josa.61.000001 Lightness and retinex theory 孔玲君 ， 张孟孟 . 基于Retinex的弱可见光和红外图像融合算法 ［J］. 包装工程 ， 2020 ， 41 （ 19 ）： 237 - 244 . 基于Retinex的弱可见光和红外图像融合算法 KONG L J ， ZHANG M M . Fusion algorithm of low visible light and infrared image based on retinex ［J］. Packaging Engineering ， 2020 ， 41 （ 19 ）： 237 - 244 . （in Chinese） Fusion algorithm of low visible light and infrared image based on retinex JOBSON D J ， RAHMAN Z ， WOODELL G A . A multiscale retinex for bridging the gap between color images and the human observation of scenes ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 1997 ， 6 （ 7 ）： 965 - 976 . A multiscale retinex for bridging the gap between color images and the human observation of scenes PARK S ， MOON B ， KO S ， et al . Low-light image enhancement using variational optimization-based Retinex model ［J］. 2017 IEEE International Conference on Consumer Electronics （ICCE） ， 2017 ： 70 - 71 . Low-light image enhancement using variational optimization-based Retinex model XU J ， HOU Y ， REN D ， et al . STAR： a structure and texture aware retinex model ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2020 ， 29 ： 5022 - 5037 . STAR： a structure and texture aware retinex model CAI B L ， XU X M ， GUO K L ， et al . A joint intrinsic-extrinsic prior model for retinex ［C］. 2017 IEEE International Conference on Computer Vision . Venice， Italy . IEEE ， 2017 ： 4020 - 4029 . doi: 10.1109/iccv.2017.431 http://dx.doi.org/10.1109/iccv.2017.431 A joint intrinsic-extrinsic prior model for retinex ZHAN K ， TENG J ， LI Q ， et al .. A Novel Explicit Multi-focus Image Fusion Method ［J］. Journal of Information Hiding and Multimedia Signal Processing ， 2015 ， 6 （ 3 ）： 600 - 612 . A Novel Explicit Multi-focus Image Fusion Method ZHAN K ， XIE Y G ， WANG H B ， et al . Fast filtering image fusion ［J］. Journal of Electronic Imaging ， 2017 ， 26 ： 063004 . Fast filtering image fusion GONZÁLEZ R ， WOODS R . Digital Image Processing ， 3rd edition ［M］. London ： Pearson Education ， 2008 Digital Image Processing， 3rd edition QU G H ， ZHANG D L ， YAN P F . Information measure for performance of image fusion ［J］. Electronics Letters ， 2002 ， 38 （ 7 ）： 313 . Information measure for performance of image fusion WANG Q ， SHEN Y ， ZHANG J Q . A nonlinear correlation measure for multivariable data set ［J］. Physica D： Nonlinear Phenomena ， 2005 ， 200 （ 3-4 ）： 287 - 295 . A nonlinear correlation measure for multivariable data set ZHAO J ， LAGANIERE R ， LIU Z . Performance assessment of combinative pixel-level image fusion based on an absolute feature measurement ［J］. International Journal of Innovative Computing， Information and Control ， 2007 ， 3 （ 6 ）： 1433 - 1447 . Performance assessment of combinative pixel-level image fusion based on an absolute feature measurement 10.37188/OPE.20223024.3225 TP391 A 1004-924X（2022）24-3225-14 胡建平,郝梦云,杜影等.结构和纹理感知的Retinex融合红外与可见光图像[J].光学精密工程,2022,30(24):3225-3238. 胡建平,郝梦云,杜影等.结构和纹理感知的Retinex融合红外与可见光图像[J].光学精密工程,2022,30(24):3225-3238. HU Jianping,HAO Mengyun,DU Ying,et al.Fusion of infrared and visible images via structure and texture-aware retinex[J].Optics and Precision Engineering,2022,30(24):3225-3238. HU Jianping,HAO Mengyun,DU Ying,et al.Fusion of infrared and visible images via structure and texture-aware retinex[J].Optics and Precision Engineering,2022,30(24):3225-3238. 国家自然科学基金资助项目（No.61672149）；吉林省自然科学基金资助项目（No.20210101472JC）；吉林省教育厅科学技术研究项目资助（No.JJKH20210098KJ） 2022-05-28 2022-07-08 2022-12-25 2022-12-27 光学精密工程 24 30