SENet生成对抗网络在图像语义描述中的应用

SENet生成对抗网络在图像语义描述中的应用 Application of SENet generative adversarial network in image semantics description 1 3 corresp first-author E-mail： liuzhmx@163.com E-mail： liuzhmx@163.com 刘仲民（1978-），男，甘肃靖远人，副教授，博士，硕士生导师，2002年、2009年和2018年于兰州理工大学分别获得学士、硕士和博士学位，主要研究方向为模式识别、图像修复和图像描述。E-mail：liuzhmx@163.com通讯作者： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440595&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440593&type= 20.84099960 29.16300201 刘仲民 （1978-），男，甘肃靖远人，副教授，博士，硕士生导师，2002年、2009年和2018年于兰州理工大学分别获得学士、硕士和博士学位，主要研究方向为模式识别、图像修复和图像描述。E-mail： liuzhmx@163.com 通讯作者： liuzhmx@163.com 1 3 corresp Chen664234@163.com Chen664234@163.com 陈 恒（1993-），男，陕西西安人，硕士研究生，主要研究方向为模式识别和图像描述。E-mail：Chen664234@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440576&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440598&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440597&type= 20.03799820 28.56799698 陈 恒 （1993-），男，陕西西安人，硕士研究生，主要研究方向为模式识别和图像描述。E-mail： Chen664234@163.com Chen664234@163.com 2 兰州理工大学 电气工程与信息工程学院，甘肃 兰州 730050 兰州理工大学 电气工程与信息工程学院，甘肃 兰州 730050 College of Electrical and Information Engineering， Lanzhou University of Technology， Lanzhou 730050， China College of Electrical and Information Engineering， Lanzhou University of Technology， Lanzhou 730050， China 西北民族大学 数学与计算机科学学院，甘肃 兰州 730000 西北民族大学 数学与计算机科学学院，甘肃 兰州 730000 College of Mathematic and Computer Science， Northwest Minzu University， Lanzhou 730000， China College of Mathematic and Computer Science， Northwest Minzu University， Lanzhou 730000， China 甘肃省工业过程先进控制重点实验室，甘肃 兰州 730050 甘肃省工业过程先进控制重点实验室，甘肃 兰州 730050 Key Laboratory of Gansu Advanced Control for Industrial Processes， Lanzhou 730050， China Key Laboratory of Gansu Advanced Control for Industrial Processes， Lanzhou 730050， China 针对图像语义描述过程中存在的语句描述不够准确及情感色彩涉及较少等问题，提出一种基于SENet生成对抗网络的图像语义描述方法。该方法在生成器模型特征提取阶段增加通道注意力机制，使网络能够更加充分和完整地提取图像中显著区域的特征，将提取后的图像特征输入到编码器中。在原始文本语料库中加入情感语料库且通过自然语言处理生成词向量，将词向量与编码后的图像特征相结合输入到解码器中，通过不断对抗训练生成一段符合该图像所示内容的情感描述语句。最后通过仿真实验与现有方法进行对比，该方法的BLEU指标相比SentiCap方法提高了15%左右，其他相关指标均有提升。在自对比实验中，该方法在CIDEr指标上提高3%左右。该网络能够很好地提取图像特征，使描述图像的语句更加准确，情感色彩更加丰富。 An SENet-based method for image semantics description of generative adversarial networks is proposed to address the inaccurate description of utterances and inadequate involvement of emotional colors in image semantics descriptions. The method first adds a channel attention mechanism to the feature extraction stage of the generator model so that the network can completely extract features from salient regions of the image and input the extracted image features into the encoder. Second， a sentiment corpus is added to the original text corpus， and a word vector is generated through natural language processing. This word vector is then combined with the encoded image features and input to the decoder， and a sentiment description statement is generated to match the content depicted in the image through continuous adversarial training. The proposed method is compared with existing methods through simulation experiments， and it is found to improve the BLEU metric by approximately 15% compared with the SentiCap method； improvements in other related metrics are also noted. In self-comparison experiments， the method exhibits an improvement of approximately 3% in the CIDEr metric. Thus， the proposed network can better extract image features， resulting in more accurate statements describing images and richer emotional colors. 图像语义描述 生成器模型 特征提取 对抗训练 通道注意力 image semantics description generator model feature extraction adversarial training SENet networks 1 引 言 1 图像语义描述与生成是计算机视觉和自然语言处理的交叉学科，是将图像生成一段描述性语句，在帮助视觉障碍患者等方面具有重要的应用前景 ［ 1 1 - 3 3 1-3 ］ 。人类能用语言表达出图像的内容，但是计算机描述图像内容却会面临诸多问题 ［ 4 4 ］ 。因此，图像语义描述与生成需要理解图像中的内容，并将理解的图像内容编译成相应特征；最后，计算机将图像特征翻译成一段流利且有意义的语句。 近年来，使用较多、效果比较理想的是卷积神经网络（Convolutional Neural Networks，CNN）和循环神经网络（Recurrent Neural Network，RNN）相结合的方式进行图像语句描述 ［ 2 2 ］ 。CNN通常作为图像特征编码器，主要有LeNet，AlexNet，VGGNet，ResNet等 ［ 5 5 ］ 。RNN通常作为解码器，常用的是长短期记忆网络（Long Short-Term Memory，LSTM） ［ 6 6 ］ 。然而，经典方法存在图像语句描述不够准确以及描述无关信息较多等问题。为了解决此问题，研究人员提出了注意力机制 ［ 7 7 ］ 。注意力机制能较好地关注图像中显著区域信息，弱化无关区域信息，使描述语句符合图像反映的主要内容。Kulkarni等 ［ 8 8 ］ 提出基于模板的方法，该方法通过算法检测图像中的人物或物体等显著信息，并将检测结果用语言模型生成符合该图像的描述性语句。Elliott等 ［ 9 9 ］ 提出基于句法分析的方法（Visual Dependency Representation，VDR），该方法检测图像中不同对象之间的关系及属性，检测结果根据图驱动句子每个部分之间的关系从而生成一段描述性语句。Tanti等 ［ 10 10 ］ 提出基于编码-解码的方法，该方法将图像特征和语料库中的文本数据相结合输入循环神经网络中，最后输出一段文本序列。Mun等 ［ 11 11 ］ 将文本引导的注意力机制引入图像语义描述中，该方法极大改善了图像语义描述的性能。Liu等 ［ 12 12 ］ 提出将强化学习引入图像语义描述中，该方法将值函数对策略进行了改进，从中选取最佳策略用于提高生成语义描述的质量。 由于对图像特征提取不够充分或提取的无关信息较多，上述方法生成的描述语句没有情感色彩，并且与图像表达的主要内容不匹配。针对此问题，本文以生成对抗网络为基础，在生成器模型图像特征提取阶段加入SENet注意力机制，能够更加充分和准确地提取图像显著区域特征且弱化无关区域信息的特征，使描述语句更加准确。其次，在原有的语料库中增加了情感语料库，使生成器模型生成的描述语句带情感色彩。 2 基本原理 1 2.1　VGG19网络 2 经典CNN在卷积过程中使用较大尺寸卷积核，虽然能较完整地提取图像信息，但是会极大增加网络计算参数从而影响计算效率。VGG网络与经典CNN相比优势在于使用多个3×3卷积核代替大尺寸卷积核，池化层使用小尺寸池化核以此减少网络参数量。该网络还增加了网络深度，使图像特征提取更加地准确和完整。VGG网络在图像分类中取得了较好的效果 ［ 13 13 ］ 。Shaha等 ［ 14 14 ］ 使用AlexNet，VGG16和VGG19网络进行图像特征提取，发现AlexNet网络使用11×11和5×5卷积核不能学习图像中的复杂关系，而VGG网络使用多个小卷积核增加网络深度能够学习图像中的复杂关系。通过实验对比发现，VGG19网络性能优于VGG16网络。VGG19网络的结构如 图1 图1 所示。 2.2　注意力机制 2 Encoder-Decoder模型在图像语义描述任务中应用比较广泛，但是该模型在处理一段长序列时会遗忘较早时刻的信息，导致模型输出的结果不理想。一些不同时间步长或者空间位置信息具有明显的差别，Encoder-Decoder模型利用定长表示也无法很好地解决信息损失问题。 注意力机制能较好地缓解以上问题，同时提高模型动态结构的输出质量。注意力机制首先计算每一个特征向量的权重，然后将这些权重通过Softmax函数进行标准化，标准化的权重应用到特征向量中生成加权权值，从而体现出注意力关注的结果。Huang等 ［ 15 15 ］ 使用双重注意力机制应用在图像语义描述与生成任务中，使模型生成的描述语句与图像所表示的内容保持一致，从而表明注意力机制在图像语义描述任务中具有一定的优势。 2.3　生成对抗网络 2 生成对抗网络（Generative Adversarial Networks，GAN）是近几年无监督学习中快速发展的一个研究方向，主要特点是能够以一种间接的方式对未知分布进行建模 ［ 16 16 ］ 。在计算机视觉中，该方法可以避免复杂计算，与以往的方法相比生成图像的质量更优。GAN主要由生成器模型（G-enerative Model）和辨别器模型（Discriminative Model）构成。生成器模型的主要功能是训练随机数据，直到生成器模型学习到近似真实数据的函数分布。辨别器模型的主要功能是辨别输入数据是真实标签数据还是生成器模型中的生成数据。最终，生成器模型和辨别器模型不断对抗达到纳什平衡状态，当辨别器模型无法辨别输入数据是真实标签数据还是生成数据时，生成器模型学习的函数分布接近真实标签数据的分布。GAN的目标函数如下： <math display="block" id="M1"><mtable><mtr><mtd><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>D</mi></mrow></munder><mi>V</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>D</mi><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>D</mi></mrow></munder><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>z</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>D</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440604&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440603&type= 44.95800018 18.20333290 式中： G 为生成器模型， D 为判别器模型， V （ G ， D ）为二分类交叉熵函数， p data 表示真实数据分布， p z 表示生成器模型数据的分布， E 表示期望。在 式（1） 式（1） 中需要最小化 V （ G ， D ）的KL散度，此时先优化辨别器模型，如 式（2） 式（2） 所示： <math display="block" id="M2"><mtable><mtr><mtd><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>D</mi></mrow></munder><mi>V</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>D</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mi>D</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>z</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>D</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440615&type= 55.88000107 11.09133339 输入 x （ x = p data ）为真实标签样本， D （ x ）表示真实样本的分布， G （ z ）表示生成器模型生成的样本， D （ G （ z ））表示辨别器模型认为生成的样本为真实样本的概率。理想状态下， D （ x ）为1，log D （ x ）为0。此时要优化辨别器模型， E x~p data ［log D （ x ）］和 E x~pz ［log（1 -D （ G （ z ）））］则需输出较大的 V （ G ， D ）。优化生成器模型如 式（3） 式（3） 所示： <math display="block" id="M3"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi></mrow></munder><mi>V</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>D</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi>z</mi></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>D</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440619&type= 66.54799652 5.24933338 . 优化生成器模型时生成的样本越接近真实样本越好，则 D （ G （ z ））值要接近1，为使 V （ G ， D ）达到最小条件，在 式（3） 式（3） 中使用1 -D （ G （ z ））。将 式（2） 式（2） 和 式（3） 式（3） 结合以满足 式（1） 式（1） 的条件。GAN结构如 图2 图2 所示。 3 基于SENet的生成对抗网络图像语义描述与生成 1 基于SENet的生成对抗网络主要由生成器模型和辨别器模型组成。生成器模型的主要作用是输入图像和文本语料库，模型经过特征提取、编码、解码，最后输出一段描述该图像的语句。辨别器模型的主要作用是判断该语句是生成器模型生成的“虚假”语句还是真实标签语句。在对抗训练中，将辨别器模型认为“虚假”的语句重新输入到生成器模型中继续训练，直到辨别器模型不能判断语句的真假时，生成器模型生成的情感描述语句较好。 3.1　SENet注意力机制 2 SENet ［ 17 17 ］ 注意力机制主要集中于图像的通道特征，其网络结构如 图3 图3 所示。 将图像空间特征全部转换为图像通道特征，利用图像通道特征之间的相关性将注意力集中在图像显著区域特征。首先，输入图像 X ∈ R H'×W'×C' ，其中 H' 和 W' 为图像的长和宽， C' 为图像通道，经过卷积操作得到特征图 X ∈ R H×W×C 。卷积后的图像进行空间全局平均池化，输出1×1× C 的图像，如 式（4） 式（4） 所示： <math display="block" id="M4"><msub><mrow><mi>z</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">q</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi><mo>×</mo><mi>W</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>H</mi></mrow></munderover></mstyle><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>W</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>u</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo stretchy="false">)</mo></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440633&type= 56.47266769 9.05933285 ， 式中： u c （ i，j ）∈ R H×W ， z c 表示图像的通道特征值， F sq （·）为卷积操作。经过平均池化的图像在通道上具有关联性，为充分使用图像聚合后的信息，模型使用Sigmoid函数作为门控机制，学习通道间非互斥关系确保强调多通道性质，最后输出通道统计量 s ，获得新的缩放输入 u c ，如 式（5） 式（5） 所示： <math display="block" id="M5"><mi>s</mi><mo>=</mo><msub><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi></mrow></msub><mo stretchy="false">(</mo><mi>z</mi><mo>,</mo><mi>W</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">σ</mi><mo stretchy="false">(</mo><mi>g</mi><mo stretchy="false">(</mo><mi>z</mi><mo>,</mo><mi>W</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mi>δ</mi><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi>z</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440637&type= 72.72866058 4.82600021 ， 式中： δ （·）为ReLU函数，σ（·）为Sigmoid函数。 W 1 z 表示全连接操作，参数 W 1 ∈ R c / r ×c ，目的是以比率 r 减少通道数目，减少计算参数。经过ReLU函数激活后，参数 W 2 ∈ R c ×（ c/r ） ，目的是以比率 r 增加通道数目。最后将缩放输入 u c 和第 c 个通道统计量 s c 所有元素相乘，得到： <math display="block" id="M6"><msub><mrow><mover><mrow><mi>x</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440648&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440645&type= 15.23999977 3.72533321 . 通道特征与输入图像相结合实现图像中显著区域特征增强，弱化不显著区域特征，提高模型性能。 3.2　基于SENet注意力生成器模型 2 生成器模型主要由特征提取模块、SENet注意力机制、编码器、LSTM和解码器构成，如 图4 图4 所示。 首先，将图像压缩为224×224×3，压缩后的图像通过VGG19网络提取图像特征，图像特征尺寸为14×14×512，其中长和宽为14，通道数为512。其次，在图像特征提取的基础上加入SENet注意力机制，网络在提取图像特征时将注意力关注在图像的显著区域，显著区域分配的权重较大，不显著区域分配的权重较小。将图像空间特征通过自适应平均池化函数压缩为1×1×512，此时的长和宽为1，通道数不发生变化，得到： <math display="block" id="M7"><msub><mrow><mi>f</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">g</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440663&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440660&type= 32.59666443 4.91066647 ， 式中：avgpooling（·）为自适应平均池化函数， I img ∈ R H × W × C ， f c ∈ R 1×1× C 。 图像经过自适应平均池化函数处理后输入到全连接层以及激活函数输出带有权重的通道图像，得到： <math display="block" id="M8"><msub><mrow><mi>f</mi></mrow><mrow><msup><mrow><mi>c</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msub><mo>=</mo><mi mathvariant="normal">σ</mi><mo stretchy="false">[</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">C</mi><mo stretchy="false">(</mo><mi mathvariant="normal">δ</mi><mo stretchy="false">(</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">C</mi><mo stretchy="false">(</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440666&type= 39.96266937 4.91066647 ， 式中：FC（·）为全连接函数，δ（·）为ReLU函数， σ （·）为Sigmoid函数。 输入图像与经过通道处理的图像相结合得到带通道权重的特征图像 I f ，如下： <math display="block" id="M9"><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo>=</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">g</mi></mrow></msub><mo>×</mo><msub><mrow><mi>f</mi></mrow><mrow><msup><mrow><mi>c</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440678&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440675&type= 18.54199982 4.57200003 . 将 I f 输入到LSTM中初始化状态单元和记忆单元，通过反向传播给各个单元赋予权重，得到： <math display="block" id="M10"><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">(</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi>l</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440682&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440680&type= 26.83933067 4.65666676 ， <math display="block" id="M11"><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi><mo stretchy="false">(</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440690&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440688&type= 29.46400070 4.48733330 ， 式中：（ w t- 1 ） l 为前一时刻长度 l 的语句， E m 为词向量编码， h 0 为初始状态单元， c 0 为初始记忆单元。 初始状态单元（ h 0 ）和 I f 结合通过自注意力机制产生上下文向量，得到： <math display="block" id="M12"><mi>c</mi><mi>o</mi><mi>n</mi><mi>t</mi><mi>e</mi><mi>x</mi><mi>t</mi><mo>=</mo><mi mathvariant="normal">A</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">T</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi mathvariant="normal">f</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440692&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440691&type= 34.62866592 4.48733330 . 词向量编码生成的词向量（ x t ）、上下文向量（context）和情感向量（emotions）输入LSTM单元中，生成 t 时刻的状态单元（ h t ）和记忆单元（ c t ）。这里将emotions设置积极情感为［1 0 0］及消极情感为［0 1 0］，如下： <math display="block" id="M13"><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><mi>c</mi><mi>o</mi><mi>n</mi><mi>t</mi><mi>e</mi><mi>x</mi><mi>t</mi><mo>,</mo><mi>e</mi><mi>m</mi><mi>o</mi><mi>t</mi><mi>i</mi><mi>o</mi><mi>n</mi><mi>s</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440709&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440695&type= 56.98066711 4.48733330 . 状态单元（ h t ）、词向量编码（ x t ）、上下文向量（context）以及情感向量（emotions）合并输入到解码器中，通过tanh函数激活，最终生成一段描述该图像带有情感色彩的语句，将该情感语句输入辨别器模型开始对抗，如 式（14） 式（14） 所示。 <math display="block" id="M14"><msub><mrow><mi>p</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">D</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi><mo stretchy="false">(</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><mi>c</mi><mi>o</mi><mi>n</mi><mi>t</mi><mi>e</mi><mi>x</mi><mi>t</mi><mo>,</mo><mi>e</mi><mi>m</mi><mi>o</mi><mi>t</mi><mi>i</mi><mi>o</mi><mi>n</mi><mi>s</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>.</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440697&type= 83.14266968 4.82600021 3.3　辨别器模型 2 辨别器模型的主要作用是判断生成器模型生成图像情感描述语句与真实语句之间的差异。当差异较大时，辨别器模型认为生成的情感语句为“虚假”，并将“虚假”的语句重新输入到生成器模型继续训练，直到生成语句与真实语句之间的函数分布相差较小，辨别器模型无法区分出该语句是生成器模型生成的描述性语句还是真实标签样本语句，则认为生成器模型的训练效果较好。 经典CNN只能处理标量，因此无法较好提取图像中对象之间位置关系的问题。针对此问题，将胶囊网络应用到辨别器模型中。胶囊网络与CNN之间的区别是网络处理图像的数据为向量，在处理图像数据中不会忽略太多的对象位置信息，对图像有更强的解释性 ［ 18 18 ］ 。当生成器模型生成的语句与图像表达的主要内容相差较大以及辨别器模型认为“虚假”的语句时，则开始驱动胶囊网络学习图像中不同对象之间的视觉位置关系并且与生成语句相结合重新输入到生成器模型中，通过重构使生成器模型重新组织句子结构且不断调整语句与图像所表达的主要内容保持一致。此外，在对抗网络中引入奖励机制，当生成器模型生成的情感语句判别器模型无法辨认“真假”时，给生成器模型奖励，当生成器模型生成的语句接近真实标签语句则给予更多的奖励。同时，生成器模型根据辨别器模型反馈语句的真假间接学习形容词和副词，增加情感描述语句的丰富性。通过不断地对抗训练使生成器模型生成的情感语句能够准确地描述图像内容。生成对抗网络模型如 图5 图5 所示。 4 实验结果与分析 1 4.1　实验数据 2 实验数据集采用Microsoft COCO，该数据集有82 081张训练图像，40 137张测试图像。其中，每张图像对应5句描述该图像正确人工标注的语句。情感语料库采用SentCap Dataset ［ 19 19 ］ ，该语料库提供1 027个带形容词和名词的积极情绪及436个消极情绪。 4.2　评价指标 2 评价描述图像语句质量常用的指标有BLEU，ROUGE-L和CIDEr。其中，BLEU（Bilingual Evaluation Understudy）是双语评估替换，将一段图像生成语句切分由 n （ n =1，2，3，4）个单词构成，切分的单词与人工标注语句对比计算这些词的精度，从而计算BLEU分数评价生成语句的质量。根据切分单词的个数将BLEU划分BLEU1，BLEU2，BLEU3，BLEU4，即： <math display="block" id="M15"><mi mathvariant="normal">B</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">U</mi><mo>=</mo><mi>B</mi><mi>P</mi><mo>⋅</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>n</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>n</mi></mrow></msub><mi>l</mi><mi>o</mi><mi>g</mi><msub><mrow><mi>P</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440725&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440724&type= 50.79999924 8.55133343 . ROUGE-L（Recall-Oriented Understudy for Gisting Evaluation）是计算模型生成语句与参考语句之间的分数，以此衡量生成语句和参考语句之间的相似度。 CIDEr（Consensus-based Image Description Evaluation）是将生成句子看作文档，根据TF-IDF计算余弦夹角衡量生成句子和参考句子之间的相似度，通过计算不同长度的 n -gram平均值得出结果。 4.3　图像语义描述结果分析 2 随机选取一组MS COCO中测试集进行测试，实验结果如 表1 表1 所示。由 表1 表1 可知，基于SENet的GAN方法对图像情感语句的描述比较准确，能够运用“孤独”“漂亮”等具有情感色彩的描绘性词语。比如在第一张图中消极描述为“一个孤独的人在公园里骑着马”，积极描述为“一个好男人骑着一匹马穿过丛林”，而人工描述则为“一个公园管理员骑在棕色的马上”。其中，人工描述比较单调，在情感描述中对于人的情态和背景都作出了不同的表达。从第二张图中可以看出，因为图像的背景比较单调，所以消极描述和人工描述差别不大，但是积极描述为“一架飞机在壮丽的天空中飞行”，对于背景作出了积极描述。第三张图中，计算机产生的消极描述是“一个笨的人站在雪地上”，积极描述为“一个美丽的人在白雪皑皑的树林里滑雪”，而人工标注的语义描述为“一个拿着滑雪杖的人在雪地里行走”。人工标注的语句没有描述出“树林”这个特征，本文方法识别出“树林”并且用情感语句进行描述。第四张图中，消极描述为“一个穿着背心无精打采的人在玩飞盘”，积极描述为“一个善良的男人正在草地边上玩飞盘”，人工描述为“一个人在飞盘附近的田野奔跑”。情感描述中，消极语句的描述比较丰富。在第五张图中，图像展示的主要内容为一位微笑的女士拿着甜甜圈，因为图像里面的人物只出现了一位，计算机会联想到“孤独”词语。所以计算机的消极描述是“一个孤独的女人拿着一个大甜甜圈站在她的手机前”，积极描述是“一个漂亮的女人坐在椅子上拿着一个大甜甜圈”，而人工描述的语句为“一个女人手里拿着一个大甜甜圈”。仿真实验结果表明，本文方法与人工标注的语句描述相比在情感表述上更加丰富，对事物描述的细腻度也优于人工标注语句。 Image Negative description Positive description 人工描述 http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440821&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440840&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440838&type= 26.45833206 18.66900063 3.175 A lonely man on a horse in the park A nice man is riding a horse down the jungle A park ranger on top of the brown horse http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440842&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440846&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440843&type= 26.24666595 18.16099930 3.175 A plane that is flying in the air A magnificent sky is flying a plane A large jetliner flying through a blue sky http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440849&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440851&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440835&type= 22.94466591 23.15633392 3.175 A stupid people are standing in the snow A beautiful people are skiing in the snowy woods. A man with ski poles walking through the snow http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440868&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440871&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440855&type= 26.24666595 18.75366783 3.175 A dead man in a vest playing with a frisbee A nice man is playing a frisbee down the side of a grassland A person running acro-ss a field near a flying frisbee http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440874&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440864&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=43440876&type= 26.33133125 20.95499992 3.175 A lonely woman sitting with a large doughnut and standing in front of her cell phone A nice woman sitting in a chair with a large doug-hnut A woman holds a large doughnut in her hands 4.4　实验评价指标分析 2 为验证本文方法的有效性，首先，在数据集MS COCO随机选取5 000张图像进行实验验证，并与CNN+RNN，ANP+Replace，ANP+Scoring，RNN+Transfer，及SentiCap方法进行比较，实验结果如 表2 表2 和 表3 表3 所示。 方 法 B-1 B-2 B-3 B-4 CNN+RNN ［ 20 20 ］ 48.15 27.8 16.65 10.25 ANP+Replace ［ 19 19 ］ 48.15 28.30 17.05 10.50 ANP+Scoring ［ 19 19 ］ 48.10 28.30 17.15 10.60 RNN+Transfer ［ 19 19 ］ 48.55 29.25 18.30 11.50 SentiCap ［ 19 19 ］ 49.55 30.15 18.90 11.95 本文方法 65.22 43.52 29.24 20.05 方 法 ROUGE-L CIDEr CNN+RNN ［ 20 20 ］ 36.35 55.10 ANP+Replace ［ 19 19 ］ 36.45 55.85 ANP+Scoring ［ 19 19 ］ 36.35 56.25 RNN+Transfer ［ 19 19 ］ 36.95 55.00 SentiCap ［ 19 19 ］ 37.20 58.10 本文方法 50.56 57.51 由表可知，本文方法比SentiCap方法的CIDEr指标略低0.59%，BLEU指标提高15%左右，ROUGE-L指标提高13%左右，表明本文方法对图像情感语句描述在准确性、连续性、专业性上具有明显提升。 其次，进行4组自对比实验，结果如 表4 表4 和 表5 表5 所示。在相同的batch_size=8、学习率lr=0.001和训练周期epochs=10条件下，胶囊网络（SeqGAN+Caps+VGG19）与CNN网络（SeqGAN+CNN）相比，在各个指标上均有较大的提升。使用残差网络ResNet50（SeqGAN+Caps+ResNet50）与VGG19（SeqGAN+Caps+VGG19）实验对比发现，VGG19网络性能优于ResNet50网络。VGG16（SeqGAN+Caps+VGG16）与VGG19（SeqGAN+Caps+VGG19）相比，在BLEU，ROUGH-L以及CIDEr上均更低。本文方法在SeqCapsGAN网络的基础上加入SENet（SeqGAN+Caps+VGG19+SENet），与SeqCapsGAN（SeqGAN+Caps+VGG19）进行消融实验相比，BLEU所有指标提升2%左右，ROUGE-L指标提升0.68%，CIDEr指标提升3.28%。 方 法 B-1 B-2 B-3 B-4 SeqGAN+CNN 46.75 23.58 10.59 4.87 SeqGAN+Caps+ResNet50 52.36 25.35 12.20 6.45 SeqGAN+Caps+VGG16 62.43 40.25 25.93 17.20 SeqGAN+ Caps+VGG19 63.26 41.92 27.85 18.87 本文方法 65.22 43.52 29.24 20.05 方 法 ROUGE-L CIDEr SeqGAN+CNN 40.96 11.49 SeqGAN+Caps+ResNet50 40.29 12.97 SeqGAN+Caps+VGG16 48.47 48.95 SeqGAN+ Caps+VGG19 49.88 54.23 本文方法 50.56 57.51 为验证不同注意力机制对本实验的影响，在实验中分别添加通道注意力机制（Efficient Channel Attentiion， ECA） ［ 21 21 ］ 、CBAM（通道+空间注意力机制） ［ 22 22 ］ 、空间注意力机制（Spatial Attention， SA） ［ 22 22 ］ ，并设置batch_size=8，学习率lr=0.001，训练周期epochs=10。实验结果如 表6 表6 和 表7 表7 所示。从实验结果可知，通道注意力机制在性能上优于空间注意力机制和CBAM。本文方法使用SENet注意力机制与ECA相比，BLEU指标高1%左右，ROUGH-L指标高0.21% CIDEr高1%左右。 方 法 B-1 B-2 B-3 B-4 SeqCapsGAN+ECA 64.24 42.87 28.70 19.63 SeqCapsGAN+CBAM 54.40 30.87 18.26 11.47 SeqCapsGAN+SPA 55.02 31.43 18.73 11.69 本文方法 65.22 43.52 29.24 20.05 方 法 ROUGE-L CIDEr SeqCapsGAN+ECA 50.35 56.35 SeqCapsGAN+CBAM 43.30 26.92 SeqCapsGAN+SPA 43.74 27.34 本文方法 50.56 57.51 为验证情感语料库对本实验生成语句精度的影响，在实验中分别加入情感语料库和不加入情感语料库，实验结果如 表8 表8 和 表9 表9 所示。从实验结果可知，加入情感语料库对生成语句精度的影响不大。 方 法 B-1 B-2 B-3 B-4 无emotion 65.72 43.75 29.16 19.75 有emotion 65.22 43.52 29.24 20.05 方 法 ROUGE-L CIDEr 无emotion 50.34 57.07 有emotion 50.56 57.51 图6 图6 和 图7 图7 中，迭代次数nums为10 000，学习率lr=0.001。生成器模型特征提取阶段加入SENet注意力机制，训练过程中生成情感描述语句与真实标签语句之间的损失值（loss）比单一生成器模型的收敛效果更好，模型生成语句的准确率比单一生成器模型生成的准确率高，对图像的情感描述也更加准确，因此生成器模型训练的效果较好。 图8 图8 和 图9 图9 中，epoch训练次数为10和学习率lr=0.000 1。两种辨别器模型损失值都呈现快速下降的趋势，基于SENet注意力机制辨别器模型的损失值与 图8 图8 相比在训练过程中损失值更低。根据验证集准确率曲线变化， 图9 图9 与 图8 图8 相比准确率提升5%左右，表明生成器模型中生成的情感描述语句比较准确，从而验证本文方法与已有算法相比性能有一定的提升。 5 结 论 1 本文通过在生成器模型中特征提取阶段加入SENet注意力机制，使网络提取图像特征时对显著区域更加准确和完整，在对抗训练阶段生成器模型通过辨别器模型所反馈的结果不断学习，使生成器模型在提取图像特征时聚焦重要区域同时弱化不相关的区域，生成器模型结合文本数据以及情感语料库使生成带情感的语句变得丰富和准确。实验结果表明，描述的情感语句丰富，能够运用“孤独”“善良”等词描述人物状态，与已有方法相比，BLEU和ROUGH-L评价指标分别提升了15%和13%左右。在自对比实验中加入了SENet注意力机制SeqCapsGAN模型比单一SeqCapsGAN的BLEU，ROUGH-L和CIDEr评价指标分别提升了3%，0.68%和3.28%。 参考文献 李沛卓 ， 万雪 ， 李盛阳 . 基于多模态学习的空间科学实验图像描述 ［J］. 光学 精密工程 ， 2021 ， 29 （ 12 ）： 2944 - 2955 . doi: 10.37188/OPE.2021.0244 http://dx.doi.org/10.37188/OPE.2021.0244 基于多模态学习的空间科学实验图像描述 LI P ZH ， WAN X ， LI SH Y . Image caption of space science experiment based on multi-modal learning ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 12 ）： 2944 - 2955 . （in Chinese） . doi: 10.37188/OPE.2021.0244 http://dx.doi.org/10.37188/OPE.2021.0244 Image caption of space science experiment based on multi-modal learning 赵海英 ， 周伟 ， 侯小刚 ， 等 . 多标签分类的传统民族服饰纹样图像语义理解 ［J］. 光学 精密工程 ， 2020 ， 28 （ 3 ）： 695 - 703 . doi: 10.3788/OPE.20202803.0695 http://dx.doi.org/10.3788/OPE.20202803.0695 多标签分类的传统民族服饰纹样图像语义理解 ZHAO H Y ， ZHOU W ， HOU X G ， et al . Multi-label classification of traditional national costume pattern image semantic understanding ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 3 ）： 695 - 703 . （in Chinese） . doi: 10.3788/OPE.20202803.0695 http://dx.doi.org/10.3788/OPE.20202803.0695 Multi-label classification of traditional national costume pattern image semantic understanding ANDERSON P ， HE X D ， BUEHLER C ， et al . Bottom-up and top-down attention for image captioning and visual question answering ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 6077 - 6086 . doi: 10.1109/cvpr.2018.00636 http://dx.doi.org/10.1109/cvpr.2018.00636 Bottom-up and top-down attention for image captioning and visual question answering 周自维 ， 王朝阳 ， 徐亮 . 基于融合门网络的图像理解算法设计与应用 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 906 - 915 . doi: 10.37188/OPE.20212904.0906 http://dx.doi.org/10.37188/OPE.20212904.0906 基于融合门网络的图像理解算法设计与应用 ZHOU Z W ， WANG CH Y ， XU L . Design and application of image captioning algorithm based on fusion gate neural network ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 4 ）： 906 - 915 . （in Chinese） . doi: 10.37188/OPE.20212904.0906 http://dx.doi.org/10.37188/OPE.20212904.0906 Design and application of image captioning algorithm based on fusion gate neural network 盖荣丽 ， 蔡建荣 ， 王诗宇 ， 等 . 卷积神经网络在图像识别中的应用研究综述 ［J］. 小型微型计算机系统 ， 2021 ， 42 （ 9 ）： 1980 - 1984 . doi: 10.3969/j.issn.1000-1220.2021.09.030 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.09.030 卷积神经网络在图像识别中的应用研究综述 GAI R L ， CAI J R ， WANG SH Y ， et al . Research review on image recognition based on deep learning ［J］. Journal of Chinese Computer Systems ， 2021 ， 42 （ 9 ）： 1980 - 1984 . （in Chinese） . doi: 10.3969/j.issn.1000-1220.2021.09.030 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.09.030 Research review on image recognition based on deep learning WANG J ， TANG J H ， YANG M K ， et al . Improving OCR-based image captioning by incorporating geometrical relationship ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 1306 - 1315 . doi: 10.1109/cvpr46437.2021.00136 http://dx.doi.org/10.1109/cvpr46437.2021.00136 Improving OCR-based image captioning by incorporating geometrical relationship XU K ， BA J L ， KIROS R ， et al . Show， attend and tell： neural image caption generation with visual attention ［C］. Proceedings of the 32nd International Conference on International Conference on Machine Learning-Volume 37. July 6 - 11 ， 2015， Lille， France. New York ： ACM ， 2015： 2048 - 2057 . doi: 10.1109/cvpr.2015.7298935 http://dx.doi.org/10.1109/cvpr.2015.7298935 Show， attend and tell： neural image caption generation with visual attention KULKARNI G ， PREMRAJ V ， ORDONEZ V ， et al . Babytalk： understanding and generating simple image descriptions ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2013 ， 35 （ 12 ）： 2891 - 2903 . doi: 10.1109/tpami.2012.162 http://dx.doi.org/10.1109/tpami.2012.162 Babytalk： understanding and generating simple image descriptions ELLIOTT D ， DE V A . Describing images using inferred visual dependency representations ［C］. Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing . 2015 ： 42 - 52 . doi: 10.3115/v1/p15-1005 http://dx.doi.org/10.3115/v1/p15-1005 Describing images using inferred visual dependency representations TANTI M ， GATT A ， CAMILLERI K P . What is the Role of Recurrent Neural Networks （ RNNs ） in an Image Caption Generator ？ ［EB/OL］. 2017 ： arXiv ： 1708 . 02043 . https：//arxiv.org/abs/1708.02043 https://arxiv.org/abs/1708.02043 . doi: 10.18653/v1/w17-3506 http://dx.doi.org/10.18653/v1/w17-3506 What is the Role of Recurrent Neural Networks （RNNs） in an Image Caption Generator？ MUN J ， CHO M ， HAN B . Text-guided attention model for image captioning ［C］. Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. New York ： ACM ， 2017 ： 4233 - 4239 . doi: 10.1609/aaai.v31i1.11237 http://dx.doi.org/10.1609/aaai.v31i1.11237 Text-guided attention model for image captioning LIU S Q ， ZHU Z H ， YE N ， et al . Improved image captioning via policy gradient optimization of SPIDEr ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 873 - 881 . doi: 10.1109/iccv.2017.100 http://dx.doi.org/10.1109/iccv.2017.100 Improved image captioning via policy gradient optimization of SPIDEr BANSAL M ， KUMAR M ， SACHDEVA M ， et al . Transfer learning for image classification using VGG19： Caltech-101 image data set ［J］. Journal of Ambient Intelligence and Humanized Computing ， 2021 . Transfer learning for image classification using VGG19： Caltech-101 image data set SHAHA M ， PAWAR M . Transfer learning for image classification ［C］. 2018 Second International Conference on Electronics， Communication and Aerospace Technology （ICECA）. 2931，2018 ， Coimbatore， India. IEEE ， 2018 ： 656 - 660 . doi: 10.1109/iceca.2018.8474802 http://dx.doi.org/10.1109/iceca.2018.8474802 Transfer learning for image classification HUANG L ， WANG W M ， CHEN J ， et al . Attention on attention for image captioning ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2020 ： 4633 - 4642 . doi: 10.1109/iccv.2019.00473 http://dx.doi.org/10.1109/iccv.2019.00473 Attention on attention for image captioning 陈佛计 ， 朱枫 ， 吴清潇 ， 等 . 生成对抗网络及其在图像生成中的应用研究综述 ［J］. 计算机学报 ， 2021 ， 44 （ 2 ）： 347 - 369 . doi: 10.11897/SP.J.1016.2021.00347 http://dx.doi.org/10.11897/SP.J.1016.2021.00347 生成对抗网络及其在图像生成中的应用研究综述 CHEN F J ， ZHU F ， WU Q X ， et al . A survey about image generation with generative adversarial nets ［J］. Chinese Journal of Computers ， 2021 ， 44 （ 2 ）： 347 - 369 . （in Chinese） . doi: 10.11897/SP.J.1016.2021.00347 http://dx.doi.org/10.11897/SP.J.1016.2021.00347 A survey about image generation with generative adversarial nets HU J ， SHEN L ， SUN G . Squeeze-and-excitation networks ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 7132 - 7141 . doi: 10.1109/cvpr.2018.00745 http://dx.doi.org/10.1109/cvpr.2018.00745 Squeeze-and-excitation networks MAZZIA V ， SALVETTI F ， CHIABERGE M . Efficient-CapsNet： capsule network with self-attention routing ［J］. Scientific Reports ， 2021 ， 11 ： 14634 . doi: 10.1038/s41598-021-93977-0 http://dx.doi.org/10.1038/s41598-021-93977-0 Efficient-CapsNet： capsule network with self-attention routing MATHEWS A ， XIE L X ， HE X M . SentiCap： generating image descriptions with sentiments ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2016 ， 30 （ 1 ）： 3574 - 3580 . doi: 10.1609/aaai.v30i1.10475 http://dx.doi.org/10.1609/aaai.v30i1.10475 SentiCap： generating image descriptions with sentiments DAI B ， FIDLER S ， URTASUN R ， et al . Towards diverse and natural image descriptions via a conditional GAN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2989 - 2998 . doi: 10.1109/iccv.2017.323 http://dx.doi.org/10.1109/iccv.2017.323 Towards diverse and natural image descriptions via a conditional GAN WANG Q L ， WU B G ， ZHU P F ， et al . ECA-net： efficient channel attention for deep convolutional neural networks ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1319，2020 ， Seattle， WA， USA. IEEE ， 2020 ： 11531 - 11539 . doi: 10.1109/cvpr42600.2020.01155 http://dx.doi.org/10.1109/cvpr42600.2020.01155 ECA-net： efficient channel attention for deep convolutional neural networks WOO S ， PARK J ， LEE J Y ， et al . CBAM ： Convolutional Block Attention Module ［M］. Computer Vision - ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1 CBAM： Convolutional Block Attention Module 10.37188/OPE.20233109.1379 TP391 A 1004-924X（2023）09-1379-11 刘仲民,陈恒,胡文瑾.SENet生成对抗网络在图像语义描述中的应用[J].光学精密工程,2023,31(09):1379-1389. 刘仲民,陈恒,胡文瑾.SENet生成对抗网络在图像语义描述中的应用[J].光学精密工程,2023,31(09):1379-1389. LIU Zhongmin,CHEN Heng,HU Wenjin.Application of SENet generative adversarial network in image semantics description[J].Optics and Precision Engineering,2023,31(09):1379-1389. LIU Zhongmin,CHEN Heng,HU Wenjin.Application of SENet generative adversarial network in image semantics description[J].Optics and Precision Engineering,2023,31(09):1379-1389. 国家自然科学基金资助项目（No.62061042）；甘肃省工业过程先进控制重点实验室开发基金资助项目（No.2022KX10） 2022-07-27 2022-08-22 2023-05-10 2023-05-15 37010372 光学精密工程 9 31