Image caption of space science experiment based on multi-modal learning

基于多模态学习的空间科学实验图像描述 Image caption of space science experiment based on multi-modal learning first-author 李沛卓（1996-），女，河南南阳人，硕士研究生，2018年于同济大学获得学士学位，现为中国科学院大学空间应用工程与技术中心在读硕士研究生，主要从事空间机器视觉方面的研究。E-mail： mailto：brightlishi@gmai l.comlipeizhuo18@mails，ucas.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627032&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627036&type= 22.01332855 32.00395203 李沛卓 （1996-），女，河南南阳人，硕士研究生，2018年于同济大学获得学士学位，现为中国科学院大学空间应用工程与技术中心在读硕士研究生，主要从事空间机器视觉方面的研究。E-mail： mailto： brightlishi@gmai l.comlipeizhuo18 @mails，ucas.ac.cn brightlishi@gmai l.comlipeizhuo18 corresp E-mail： wanxue@csu.ac.cn E-mail： wanxue@csu.ac.cn 万　雪（1988-），女，湖北武汉人，研究员，硕士生导师，2015年于英国帝国理工大学获得博士学位，现为中国科学院空间应用工程与技术中心研究员，主要从事计算机视觉算法研究。E-mail： wanxue@csu.ac.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627045&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627050&type= 22.01332855 32.00397491 万　雪 （1988-），女，湖北武汉人，研究员，硕士生导师，2015年于英国帝国理工大学获得博士学位，现为中国科学院空间应用工程与技术中心研究员，主要从事计算机视觉算法研究。E-mail： wanxue@csu.ac.cn wanxue@csu.ac.cn 中国科学院大学 中国科学院空间应用工程与技术中心中国科学院太空应用重点实验室，北京 100094 中国科学院大学 中国科学院空间应用工程与技术中心中国科学院太空应用重点实验室，北京 100094 Key Laboratory of Space Utilization， Chinese Academy of Sciences， Technology and Engineering Center for Space Utilization， Chinese Academy of Sciences， University of Chinese Academy of Sciences， Beijing 100094， China Key Laboratory of Space Utilization， Chinese Academy of Sciences， Technology and Engineering Center for Space Utilization， Chinese Academy of Sciences， University of Chinese Academy of Sciences， Beijing 100094， China 为了让科学家快速定位实验关键过程，获取更为详细的实验过程信息，需要对空间科学实验自动添加描述性文字内容。针对空间科学实验目标较小且数据样本较少的问题，本文提出了基于多模态学习的空间科学实验图像描述算法模型，主要分为四部分：基于改进U-Net的语义分割模型，基于语义分割的空间科学实验词汇候选，自下而上的通用场景图像特征向量提取和基于多模态学习的描述语句生成。此外，本文构建了空间科学实验目标数据集，包括语义掩码标注和图像描述标注，来对空间科学实验进行图像描述。实验结果表明：相对于经典的图像描述模型Neuraltalk2，本文提出的算法在精度评定方面，METEOR结果平均提升了0.089，SPICE结果平均提升了0.174；解决了空间科学实验目标较小、样本较少的难点，构建基于多模态学习的空间科学实验图像描述模型，满足对空间科学实验场景进行专业性、精准性的描述要求，实现从低层次感知到深层场景理解的能力。 In order to enable scientists to quickly locate the key process of the experiment and obtain detailed experimental process information， it is necessary to automatically add descriptive content to space science experiments. Aiming at the problem of small target and small data sample of space science experiment， this paper proposes the image captioning of space science experiment based on multi-modal learning. It is mainly divided into four parts： semantic segmentation model based on improved U-Net， space science experimental vocabulary candidate based on semantic segmentation， general scene image feature vector extraction from bottom-up model and image caption based on multimodal learning. In addition， the dataset of space science experiment is constructed， including semantic masks and image caption annotations. Experimental results demonstrate that： compared with the state-of-the-art image caption model neuraltalk2， the accuracy evaluation of the proposed algorithm is improved by 0.089 for METEOR and 0.174 for SPICE. It solves the difficulty of small objectives and small data samples of space science experiment. It constructs a model of space science experiment image caption based on multi-modal learning， which meets the requirements of describing space science experiment professionally and accurately， and realizes the ability from low-level sense to deep scene understanding. 空间科学实验 图像描述 语义分割 多模态学习 space science experiment image captioning semantic segmentation multi-modal learning 1 引　言 1 中国空间站核心舱于2021年4月29日成功发射，其上搭载了10余个科学实验柜，用于开展空间生命科学与生物技术、微重力流体物理与燃烧科学、空间材料科学等11个方向的科学实验。面对海量的数据，如何快速的自动提取大量数据中的目标，对专业性较强的空间科学实验图像/视频自动添加描述性内容、对其进行图像描述，让科学家快速定位实验关键过程、获取丰富的语义信息，使复杂的科学知识与应用成果信息以可视化形式进行交互，已经成为空间科学与应用数据管理以及众多专家学者共同关注的话题。 近年来，随着人工智能的飞速发展，深度学习技术在计算机视觉领域得到了广泛的应用和发展。目标分割算法通过对兴趣区域进行分类和分割，已经成为计算机视觉的重要任务，广泛应用到农业种植 ［ 1 1 ］ 、遥感影像处理 ［ 2 2 ］ 、自动驾驶 ［ 3 3 ］ 等多个领域。按照分割结果是否具有语义信息，目标分割主要分为语义分割，如Mask R-CNN ［ 4 4 ］ 、U-Net ［ 5 5 ］ 等，和非语义分割，如传统的Ostu ［ 6 6 ］ 、改进的Canny 边缘检测 ［ 7 7 ］ 、DSS显著性检测 ［ 8 8 ］ 等。 计算机学会了识别物体，为了使计算机能真正看懂图像，将视觉信息和自然语言相融合，使计算机对图像进行深层次理解，生成自然语言描述。从图像中生成视觉内容的自然语言描述的任务，就是“图像描述” ［ 9 9 ］ 。常见的图像描述算法如Neuraltalk2 ［ 10 10 ］ 、“show and tell” ［ 11 11 ］ 、DenseCap ［ 12 12 ］ 等只能处理训练时见过的语料库里的物体，训练过程非常依赖于图像和对应的描述，模型的输入均是图像和描述成对出现，在只有图像和类别的情况下，无法进行迁移学习。因此图像描述一个重要的任务是如何在保持模型生成句子的能力的同时，仅告诉模型新的类别，来进行迁移学习。在此情况下，DCC ［ 13 13 ］ 、NOC ［ 14 14 ］ 、Nocaps ［ 9 9 ］ 等应运而生。其中，DCC、NOC这些模型需要加入新类别重新训练，较为复杂，且需要强大的计算资源支持。Nocaps使用自上而下的描述模型 ［ 15 15 ］ 、NBT ［ 16 16 ］ 、Constrained Beam Search（CBS） ［ 17 17 ］ 等基准模型，通过将解码问题转换为具有对应于约束满足转换条件的有限状态机，来使语言模型含有称为约束的特定单词，然而Nocaps需要提供每一张图像中新类别的边界框等相关人工标注信息，过于依赖人工标注。 面对海量的数据，如何让科学家快速定位实验关键过程，获取丰富的语义信息，对空间科学实验对象进行语义分割只是第一步，属于低层次感知层面，未考虑各个对象之间的关联。为了让科学家快速定位实验关键过程，获取更为详细的实验过程信息，将语义分割结果和自然语言相结合，对空间科学实验数据进行专业性的一句话描述，这对于快速提取实验过程相关信息、自动理解实验数据数据中的内容非常重要。同时也为科学家开展科学研究提供辅助参考，促进科学发现与成果产出。 如何在保持模型具有生成句子的能力下，融入新的空间科学实验类别，对空间科学实验进行专业性描述，实现自动化的浅层类别感知到深层场景理解，是本文的主要研究内容。 空间科学实验图像描述存在以下难点：（1）空间科学实验对象一般尺寸较小，往往会在深层神经网络中发生目标消失的情况，较难有效地将其检测出来；（2）空间科学实验类别繁多，但总体数据样本较少，没有大量数据积累，深度学习所用的大规模数据学习方式就不适用；（3）空间科学实验场景偏向于科学性和专业性，与通用场景差别较大，实验类别也较为罕见，通用的图像描述模型并不能准确地对空间科学实验数据进行图像描述。 针对以上问题，本文面向空间科学实验数据，构建基于多模态学习的空间科学实验图像描述模型，自动化的对空间科学实验对象进行语义分割，进而对整张实验图像进行描述，实现智能化地从浅层语义感知到深层场景理解。本文的创新点如下： （1）构建空间科学实验数据集 2 本文从国际空间站以及天舟一号和天宫二号的公开实验数据中收集数据，最终标注3 016张图片，包含空间植物实验、空间细胞组织类实验、空间燃烧实验和空间流体实验四大类。对数据分别进行语义掩码的标注和图像描述的标注，每一张图像均标注一张彩色掩码和3句不同的英文描述。 （2）提出基于多模态学习的空间科学实验图像描述模型 2 本文基于改进U-Net语义分割模型和Nocaps图像描述算法，融合图像、类别标签、语义分割结果、自然语言等多种模态的数据。利用语义分割结果自动化地提取出空间科学实验对象的语义和边界框信息，融合基于语义分割的空间科学实验词汇候选和自下而上的通用场景图像特征向量提取，在图像描述过程中，不需要人工标注空间科学实验对象的位置等信息，实现空间科学实验图像的自动解译。 2 基于多模态学习的空间科学实验图像描述算法 1 图1 图1 为基于多模态学习的空间科学实验图像描述算法框架图。它融合了图像、类别标签、语义分割结果、自然语言等多种模态的数据，主要由基于改进U-Net的空间科学实验语义分割、基于语义分割的空间科学实验词汇候选、自下而上的通用场景图像特征向量提取和空间科学实验图像描述的学习四部分构成。首先对空间科学实验利用改进U-Net的语义分割模型进行语义分割；利用语义分割结果对空间科学实验目标进行语义和边界框提取，得到空间科学实验词汇候选；利用自下而上的注意力机制模型对空间科学实验数据中的通用场景特征进行提取，得到通用图像特征向量；将前两步得到的相关特征信息输入到自上而下的描述模型中，并利用CBS进行词汇约束，得到最终的描述结果。 2.1　基于改进U-Net的空间科学实验语义分割 2 对空间科学实验的实验对象进行分割主要是为科学家用户提供定制化图像检测识别服务，而科学家用户通常更关注自己领域内的实验，需要的是特定实验对象在地面实验与空间站实验的对比，因此分割模型不需要具有良好的普适性。由于空间科学实验通常在实验舱或是实验柜中进行，实验对象通常为小目标，这些小目标在经过卷积和池化操作后通常会发生目标消失的现象。 针对空间科学实验样本较少和目标较小的问题，研究应用基于U-Net的语义分割框架：U-Net是最早针对医疗影像提出的图像分割模型，其网络结构简单，适合医疗影像数据量少，图像语义简单结构较为固定的特点。空间科学实验数据恰好与医疗影像的数据特点类似。因此本文采用基于U-Net的结构从空间站的图像/视频数据中学习有效的语义特征，以地面数据为训练集，对空间站实验进行测试，实现对空间科学实验对象的精准分割。 以U-Net的U型结构和跳跃连接结构为基础，如 图2 图2 所示，（a）图为原始U-Net网络结构图，（b）图为改进的U-Net网络结构图。具体改进如 表1 表1 所示，将其输入层的网络大小调整为256×256，进行6次上采样和6次下采样，设置激活函数为sigmoid函数，损失函数为BCEDice损失函数，使其更适用于空间科学实验的语义分割。 模型 损失函数 优化器 上下采样次数 激活函数 网络输入 原始U-Net 带权值的交叉熵 随机梯度下降 4 softmax 572×572 改进U-Net BCEDice损失函数 RMSProp 6 sigmoid 256×256 2.2　基于语义分割的空间科学实验词汇候选 2 对空间科学实验进行图像描述，由于实验的专业性和科学性，采用通用模型，并不能准确检测出空间科学实验对象，往往还会进行误识别。 为了使描述模型在不加人工标注的情况下自动识别出空间科学实验对象，本文利用2.1生成的语义分割结果获得空间科学实验的词汇候选 <math id="M1"><msub><mrow><mi>W</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627106&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627101&type= 4.65666676 3.72533321 ，包括空间科学实验对象的标签信息 <math id="M2"><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627112&type= 3.21733332 3.72533321 及位置信息 <math id="M3"><mi>b</mi><mi>b</mi><mi>o</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627126&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627120&type= 8.38199997 3.72533321 ，以此获取空间科学实验数据的专业性图像特征。 具体的词汇候选生成方法为，利用语义分割结果的掩码图像 <math id="M4"><mi>M</mi><mi>a</mi><mi>s</mi><msub><mrow><mi>k</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627136&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627130&type= 8.89000034 3.72533321 ，提取空间科学实验对象的边界区域，获得目标区域的左上点坐标 <math id="M5"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627140&type= 11.51466751 4.91066647 和右下点坐标 <math id="M6"><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627154&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627149&type= 11.51466751 4.91066647 ，以此确定空间科学实验对象的位置信息 <math id="M7"><mi>b</mi><mi>b</mi><mi>o</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627162&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627158&type= 30.56466866 4.91066647 。和语义分割结果得到的语义标签 <math id="M8"><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627229&type= 3.21733332 3.72533321 一起构成空间科学实验词汇候选结果 <math id="M9"><msub><mrow><mi>W</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>,</mo><mi>b</mi><mi>b</mi><mi>o</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627180&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627175&type= 48.85266495 4.91066647 。 2.3　自下而上的通用场景图像特征向量提取 2 为了获取空间科学实验中的其他通用场景中的常见特征，如天宫二号拟南芥和水稻生长实验中的窗口等信息，本文采用UpDown ［ 15 15 ］ 算法中提到的自下而上的注意力机制模型对空间科学实验数据进行通用场景图像特征提取。 自下而上的注意力机制、自上而下的注意力机制，这两种类型的注意力机制存在于人类的视觉系统中。其中，基于自下而上的注意力机制关注图像兴趣区域，属于“硬”注意力机制；而基于自上而下的注意力集中关注图像的整体内容，利用先验知识或任务，来创建注意力所应在的视觉区域的标准，属于“软”注意力机制。因此对于计算机视觉而言，将图像中显著区域提取出图像特征，就是基于自下而上的注意力模型的首要任务，这一步类似于对图像进行特征编码。如 图3 图3 所示，（a）为自下而上的注意力模型效果图，（b）为传统CNN模型提取特征效果图。相对于自下而上的的注意力模型，基于CNN的模型检测到了更多的特征，但是这些特征往往是无用的，且需消耗更多的时间和资源，因此本文选择自下而上的注意力机制对图像进行特征提取。 UpDown的自下而上的注意力模型框架采用嵌入ResNet-101的Faster R-CNN ［ 18 18 ］ 结构，该模型在Visual Genome图像语义理解数据集中进行训练。Faster R-CNN是目标检测网络，它预先找到图像中目标可能出现的位置，提取候选区域，并对候选区域进行分类。主要分为四个步骤：特征提取，区域提取网络，目标区池化，目标分类。在这个过程中，Faster R-CNN在框架中有效地起到了“硬”注意力机制的作用，仅从大量的可能中选择了相对较少的图像边界框特征。 通过该模型提取出整张图像的通用场景特征向量 <math id="M10"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">g</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>,</mo><mi>b</mi><mi>b</mi><mi>o</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>,</mo><mtext> </mtext><msub><mrow><mi>f</mi></mrow><mrow><mi>g</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627204&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627199&type= 31.24200058 4.91066647 ， <math id="M11"><msub><mrow><mi>L</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627214&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627209&type= 3.55599999 3.72533321 和 <math id="M12"><mi>b</mi><mi>b</mi><mi>o</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627224&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627219&type= 8.72066593 3.72533321 为提取到的通用场景对象的类别和边界框信息，格式与 <math id="M13"><msub><mrow><mi>L</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627234&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627229&type= 3.21733332 3.72533321 及 <math id="M14"><mi>b</mi><mi>b</mi><mi>o</mi><msub><mrow><mi>x</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627244&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627239&type= 8.38199997 3.72533321 相同，相对于 <math id="M15"><msub><mrow><mi>W</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627283&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627278&type= 4.65666676 3.72533321 ， <math id="M16"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627263&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627258&type= 3.80999994 3.72533321 增加了2 048维的特征向量 <math id="M17"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi mathvariant="bold-italic">g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627273&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627268&type= 2.37066650 4.57200003 ，包含检测到对象的一些属性信息，如颜色、材质等。 2.4　基于多模态学习的描述语句生成 2 空间科学实验描述语句的生成，是基于多模态学习实现的，融合了图像、类别标签、语义分割结果、自然语言等多种模态的数据，从多种模态的数据中学习语义特征和。利用2.2节的空间科学实验语义分割结果得到的空间科学实验的专业性词汇候选 <math id="M18"><msub><mrow><mi>W</mi></mrow><mrow><mi>s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627283&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627278&type= 4.65666676 3.72533321 ，与2.3节得到的通用场景图像特征向量 <math id="M19"><msub><mrow><mi>F</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627293&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627288&type= 3.72533321 3.72533321 一起输入到自上而下的描述模型中，并利用CBS进行词汇约束，进行模态共享混合迁移，得到跨媒体统一表征，以此来获取最终的描述结果。基于自上而下的注意力集中关注图像的整体内容，利用先验知识或任务，来创建注意力所应在的视觉区域的标准。相对于自下而上的注意力机制，属于高级感知。 UpDown中的自上而下的描述模型主要由语言LSTM和自上而下注意力LSTM两部分组成：自上而下的注意力LSTM用来确定图像特征的权重，在描述生成过程中对每个特征进行加权；语言LSTM的输入由注意力模型生成的特征加权和以及当前时刻注意力模型的隐藏状态组合而成，最终输出到Softmax分类器中，得到每一个单词的概率分布。 为了使描述模型能包含空间科学实验的专业性信息，使用CBS进行词汇约束。CBS使用有限状态机FSM来包含2个或3个空间科学实验词汇作为约束，如拟南芥、水稻、液滴等，在解码后选择至少包含2个约束的句子作为最终的专业性描述。 3 实验与结果 1 3.1　空间科学实验数据集的构建 2 针对空间科学实验图像描述的任务，本文首先构建了空间科学实验数据集，利用该数据集进行语义分割和图像描述模型，以此解决空间科学实验数据目标较小，样本较少的问题。 本文从国际空间站、天舟一号和天宫二号的公开实验数据中收集视频，每隔5帧进行抽帧处理，得到的相关类别和图片数量如 图4 图4 所示。 经过对视频进行抽帧和筛选，最终确定标注数据共3 016张图片，数据标注类别为：空间植物实验（327张），空间细胞组织类实验（293张），空间燃烧实验（881张）和空间流体实验（1 515张）。其中空间植物实验为天宫二号拟南芥和水稻生长实验，国际空间站芜菁种子生长实验；空间细胞组织类实验为空间细胞融合实验，空间硅藻运动实验；空间燃烧实验为零重力火焰燃烧实验，国际空间站燃烧实验；空间流体实验为国际空间站试管流体实验，空间液滴乒乓实验和空间液滴游动实验。标注的数据集部分展示如 图5 图5 所示。 3 . 1 . 1　空间科学实验数据语义分割的标注 3 针对空间科学实验所需的目标分割任务，按照VOC数据集的标注格式，对数据分别进行语义掩码的标注，背景为黑色，目标掩码为其他颜色。其中空间植物实验中，标注目标为拟南芥，水稻和芜菁，标签分别为Arabidopsis thaliana，rice，Brassica rapa；空间细胞组织类实验中，目标标注为细胞，标签为cell；空间燃烧实验中，目标标注为火焰，标签为flame；空间流体实验中，目标标注为液滴和气泡，标签分别为droplet，bubble。 部分标注结果如 图6 图6 所示，（a）天宫二号拟南芥和水稻生长实验中，绿色标注为水稻，黄色标注为拟南芥；（b）国际空间站试管流体实验中，深蓝色标注为液滴，浅蓝色标注为气泡。 3 . 1 . 2　空间科学实验数据图像描述的标注 3 针对图像描述算法，本文对天宫二号拟南芥和水稻生长实验、零重力火焰燃烧实验、国际空间站液滴乒乓实验、国际空间站火焰燃烧实验进行标注，分别记为T2、ZeroG-Flame、Droplet-Ping-Pong、ISS-Flame。对实验视频每隔10帧进行抽帧处理，分别得到321帧图像、54帧图像、55帧图像、77帧图像，包含拟南芥（Arabidopsis thaliana）、水稻（rice）、火焰（flame）、液滴（droplet）四种空间科学实验对象，相对于包含80个类别的通用图像描述数据集COCO Captions来说，也是四种罕见类别。 对每一张图像进行人工标注，分别标注三句不同的描述，得到真值数据集。如 图7 图7 所示，为天宫二号拟南芥和水稻生长实验，包含拟南芥和水稻两种空间科学实验对象，因此对应的真值标注为：“there are rice and Arabidopsis thaliana in the experimental cabinet”，“rice and Arabidopsis thaliana are growing in the laboratory cabinet”，“rice and Arabidopsis thaliana thrive in the experimental cabinet”。 3.2　空间科学实验语义分割实验验证 2 天宫二号拟南芥和水稻生长实验视频帧率30帧/秒，每帧图像大小296×360，将视频逐帧转为图像序列，共计3 270张图像。本实验从天宫二号拟南芥和水稻生长实验中随机选取45张图像，将对应标注的45张实验真值数据作为训练模型的输入，利用改进U-Net的语义分割模型进行模型训练，对剩余的图像序列进行模型测试，得到拟南芥和水稻的分割结果。 3 . 2 . 1　数据处理 3 对标注后的45张掩码信息，按照4∶1的方式进行随机分配，其中36张作为训练数据，9张作为测试数据。同时，对训练集内的图像进行扩充处理：对输入的原始图像和掩码进行旋转、翻转、色相、饱和度等调整，以提高后续分割的准确度。使用keras深度学习框架进行训练，分别训练拟南芥和水稻两个语义分割模型，在GPU为Titan X 12G显存的硬件条件下，模型在训练164个epoch时学习率下降到0.000 001，训练停止。相应的训练过程中，训练损失和验证损失变化曲线如 图8 图8 所示，（a）图为训练集loss变化曲线，（b）图为验证集的loss变化曲线，可以看出损失在平稳下降。 3 . 2 . 2　实验结果 3 本文利用传统图像分割算法，Canny边缘检测，对天宫二号拟南芥和水稻生长实验数据进行测试；同时还利用和改进U-Net相同的训练数据和训练参数，基于Mask R-CNN训练天宫二号拟南芥和水稻生长实验语义分割模型，对天宫二号拟南芥和水稻实验数据进行测试。如 图9 图9 所示，（a）为Canny边缘检测算法的分割结果，（b）为训练的基于Mask R-CNN天宫二号拟南芥和水稻生长实验语义分割模型对相应实验图像的分割结果，（c）为本文提出的基于改进U-Net的天宫二号拟南芥和水稻生长实验语义分割模型的对相应实验图像的分割结果。 通过对比实验结果可以看出，传统的分割方法不能将背景信息和所需目标进行分离，检测结果中包含大量背景信息，并不能分割出所需目标；Mask R-CNN只能在部分场景中识别出拟南芥，且对水稻的边缘信息处理结果较差，只能检测出水稻的大概位置；本课题提出的算法可以很好地识别出水稻和拟南芥，并对其边缘信息进行了较好地处理。 3 . 2 . 3　精度评定 3 使用剩余实验图像序列中标注的62张真值结果，对Mask R-CNN和改进U-Net的天宫二号拟南芥和水稻生长实验结果分别进行精度评定，采用DAVIS ［ 19 19 ］ 数据集提出的评价指标：区域分割相似度J，轮廓相似度F。为了测量基于区域的分割相似度，即错误像素的数量，使用区域相似度J，J定义为估计分割和真值掩膜之间的IoU（Intersection over Union）： <math display="block" id="M20"><mi mathvariant="normal">J</mi><mo>=</mo><mfrac><mrow><mi>M</mi><mo>⋂</mo><mi>G</mi></mrow><mrow><mi>M</mi><mo>⋃</mo><mi>G</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627392&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627387&type= 17.10266685 8.04333401 ， 其中： M 为测试后的输出分割结果， G 为预先标注的真值掩膜， M 和 G 均表示为二值图像中的白色区域。计算 M 和 G 重合区域的面积，也就是像素个数，记作 M 交 G ；计算 M 和 G 相并区域的面积，记作M并 G 。 从基于轮廓的角度来看，可以将M解释为一组限定掩模空间范围的闭合轮廓 c （ M ）。因此，通过一个二分图匹配以提高对小误差的鲁棒性，可以比较 c （ M ）和 c （ G ）的边缘点计算基于轮廓的精度 P C 和召回 R C 。 P C 为M中为真实分割结果的像素的比例， R C 为 G 中被模型检测为分割结果的像素的比例。轮廓相似度F可以取得精度和召回之间较好的权衡，定义为： <math display="block" id="M21"><mi>F</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>P</mi></mrow><mrow><mi>C</mi></mrow></msub><msub><mrow><mi>R</mi></mrow><mrow><mi>C</mi></mrow></msub></mrow><mrow><msub><mrow><mi>P</mi></mrow><mrow><mi>C</mi></mrow></msub><mo>+</mo><msub><mrow><mi>R</mi></mrow><mrow><mi>C</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627397&type= 21.08200073 8.89000034 . 精度评定结果如 表2 表2 所示。其中：下标 <math id="M22"><mi mathvariant="bold-italic">M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627411&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627407&type= 3.47133350 2.96333337 表示均值精度mean； <math id="M23"><mi mathvariant="bold-italic">O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627415&type= 2.96333337 2.79399991 表示召回recall，测量得分高于阈值0.5的序列的分数； <math id="M24"><mi mathvariant="bold-italic">D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627424&type= 2.87866688 2.79399991 表示衰减decay，主要衡量随时间变化的损失或增益。 2 指标 2 Mask R-CNN 2 本算法 水稻 拟南芥 水稻 拟南芥 <math id="M25"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">M</mi></mrow></msub><mo>↑</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627436&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627432&type= 6.68866634 3.97933316 0.187 4 0.523 4 0.927 2 0.966 4 <math id="M26"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">O</mi></mrow></msub><mo>↑</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627440&type= 6.43466663 3.97933316 0.216 7 0.7 1 1 <math id="M27"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="bold-italic">D</mi></mrow></msub><mo>↓</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627453&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627449&type= 6.34999990 3.97933316 0.279 1 -0.186 5 -0.091 3 -0.028 <math id="M28"><msub><mrow><mi mathvariant="bold-italic">J</mi></mrow><mrow><mi mathvariant="bold-italic">M</mi></mrow></msub><mo>↑</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627463&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627459&type= 5.92666674 3.97933316 0.167 5 0.202 0.663 9 0.882 2 <math id="M29"><msub><mrow><mi mathvariant="bold-italic">J</mi></mrow><mrow><mi mathvariant="bold-italic">O</mi></mrow></msub><mo>↑</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627468&type= 5.67266655 3.97933316 0.2 0 0.883 3 1 <math id="M30"><msub><mrow><mi mathvariant="bold-italic">J</mi></mrow><mrow><mi mathvariant="bold-italic">D</mi></mrow></msub><mo>↓</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627481&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=23627477&type= 5.58799982 3.97933316 0.227 6 -0.105 7 -0.243 6 -0.075 精度评定结果如 表2 表2 所示。从精度评定结果中可以看出，相对于Mask R-CNN，本课题提出的算法在轮廓相似度和区域相似度方面得到了40%~70%的提升，分割效果更加精确。 3.3　空间科学实验图像描述实验验证 2 3 . 3 . 1　数据处理 3 利用语义分割结果进行空间科学实验词汇候选，过程如 图10 图10 所示，图（a）为天宫二号拟南芥和水稻生长实验，图（b）为本文提出的基于改进U-Net的语义分割算法得到的相应语义分割结果。利用语义分割结果，提取空间科学实验目标（拟南芥和水稻）对应的类别标签和位置信息，生成json文件输入给图像描述模型，提取效果图如（c）所示，为类别和位置信息提取结果。 3 . 3 . 2　实验结果 3 基于多模态学习的空间科学实验图像描述算法，分别对天宫二号拟南芥和水稻生长实验、零重力火焰燃烧实验、国际空间站液滴乒乓实验、国际空间站火焰燃烧实验进行图像描述，对比Neuraltalk2的相应的描述结果如 图11 图11 所示。 通过对比结果可以看出，本文采用的基于多模态的空间科学实验图像描述算法可以识别出拟南芥、水稻、火焰、液滴等专业性科学实验词汇和特征，并将其和自然语言进行结合，实现对空间科学实验的专业性描述。 空间液滴游动实验的前后变化描述结果如 图12 图12 所示，上图的液滴为蓝色，中图中航天员对液滴进行染色后为绿色，下图为航天员离开后只有绿色液滴特写的场景。空间科学实验图像描述模型可以检测出视频前后，宇航员以及液滴颜色的变化，从而实现了对空间科学实验的图像描述。 3 . 3 . 3　精度评定 3 自然语言处理中常用的Bleu ［ 20 20 ］ 的评价标准过于依赖真值，对每一个单词及其位置进行评判，而真值的标定具有很大的人为主观因素。在这种情况下，算法生成的描述很大程度上所表达的意思是正确的，然而因为用词及表述方式与真值不一致则会导致其评定出的精度非常低。因此，对实验结果进行精度评定，采用METEOR ［ 21 21 ］ 和SIPCE ［ 22 22 ］ 评价指标。 METEOR全称为Metric for Evaluation of Translation with Explicit Ordering，通过计算算法描述和真值之间的召回率和准确率的调和平均，解决了Bleu中的一些问题。使用了WordNet等进行同义词扩充处理；考虑了词性的变化，引入了句子连续性的考虑。 SPICE使用基于图的语义表示（场景图）来评估算法描述的质量，它通过依赖关系解析树对算法描述和真值之间建立语义场景图，对存在的对象、属性和关系进行显示编码，提取描述中的大部分词汇和语法特征。 本文利用METEOR和SPICE对天宫二号拟南芥和水稻生长实验、零重力火焰燃烧实验、国际空间站液滴乒乓实验、国际空间站火焰燃烧实验进行图像描述，分别记为T2、ZeroG-Flame、Droplet-Ping-Pong、ISS-Flame。对实验视频每隔10帧进行抽帧处理，分别得到321帧图像、54帧图像、55帧图像、77帧图像，对每一帧图像进行人工标注，分别标注三句不同的描述，得到真值数据集。相应的精度评定结果如 表3 表3 所示。 2 Experiment 2 Neuraltalk2 2 本算法 METEOR SPICE METEOR SPICE T2 0.040 0 0.272 0.230 ZeroG-Flame 0.068 0.003 0.095 0.169 Droplet-Ping-Pong 0.133 0.071 0.11 0.138 ISS-Flame 0.11 0.088 0.228 0.319 通过 表3 表3 可以看出，只有在Droplet-Ping-Pong实验中，本文提出的算法在METEOR指标中略低于经典图像描述算法Neuraltalk2，其他实验中均高于Neuraltalk2。本文提出算法的METEOR结果平均为0.176 3，SPICE结果平均为0.214，相对于Neuraltalk2分别提升了0.088 5和0.173 5，表明该算法可以对空间科学实验在句子连续性、准确性、专业性方面均有明显提升。 4 结　论 1 针对空间科学实验小样本和小目标的问题，构建空间科学实验数据集，并提出了基于多模态学习的空间科学实验图像描述算法，然后详细介绍了该算法的流程，并进行了实验验证和精度评定。实验结果证明：天宫二号拟南芥和水稻生长实验中，拟南芥的语义分割结果的区域相似度为0.882 2，轮廓相似度为0.966 4，水稻的语义分割结果的区域相似度为0.663 9，轮廓相似度为0.927 2；空间科学实验的图像描述METEOR结果平均为0.176 3，SPICE结果平均为0.214，相对于经典的Neuraltalk2算法分别提升了0.088 5和0.173 5，可以对空间科学实验进行专业性科学性的描述。实现了从低层次感知到深层场景理解的能力，智能化自动解译空间科学实验的场景。然而，空间科学实验数据图像描述目前是对单张图像进行图像描述，缺乏对场景的连续性和变化性的感知。因此，后续的研究中考虑对视频进行描述，重点关注实验目标的生长、运动等变化趋势，以此来感知整个实验过程，以实现对整个实验过程的理解。 参考文献 刘媛媛 ， 张硕 ， 于海业 ， 等 . 基于语义分割的复杂场景下的秸秆检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 200 - 211 . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200 基于语义分割的复杂场景下的秸秆检测 LIU Y Y ， ZHANG SH ， YU H Y ， et al . Straw detection algorithm based on semantic segmentation in complex farm scenarios ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 200 - 211 . （in Chinese） . doi: 10.3788/ope.20202801.0200 http://dx.doi.org/10.3788/ope.20202801.0200 Straw detection algorithm based on semantic segmentation in complex farm scenarios 陈彦彤 ， 李雨阳 ， 吕石立 ， 等 . 基于深度语义分割的多源遥感图像海面溢油监测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1165 - 1176 . 基于深度语义分割的多源遥感图像海面溢油监测 CHEN Y T ， LI Y Y ， LÜ SH L ， et al . Research on oil spill monitoring of multi-source remote sensing image based on deep semantic segmentation ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1165 - 1176 . （in Chinese） Research on oil spill monitoring of multi-source remote sensing image based on deep semantic segmentation 王中宇 ， 倪显扬 ， 尚振东 . 利用卷积神经网络的自动驾驶场景语义分割 ［J］. 光学 精密工程 ， 2019 ， 27 （ 11 ）： 2429 - 2438 . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429 利用卷积神经网络的自动驾驶场景语义分割 WANG ZH Y ， NI X Y ， SHANG ZH D . Autonomous driving semantic segmentation with convolution neural networks ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 11 ）： 2429 - 2438 . （in Chinese） . doi: 10.3788/ope.20192711.2429 http://dx.doi.org/10.3788/ope.20192711.2429 Autonomous driving semantic segmentation with convolution neural networks HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV）. 2229，2017 ， Venice， Italy. IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322 Mask R-CNN RONNEBERGER O ， FISCHER P ， BROX T . U-net： convolutional networks for biomedical image segmentation ［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015 ， pp： 234 - 241 . doi: 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 U-net： convolutional networks for biomedical image segmentation OTSU N . A threshold selection method from gray-level histograms ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 1979 ， 9 （ 1 ）： 62 - 66 . doi: 10.1109/tsmc.1979.4310076 http://dx.doi.org/10.1109/tsmc.1979.4310076 A threshold selection method from gray-level histograms 李彦 ， 赵其峰 ， 闫河 ， 等 . Canny算子在PCBA目标边缘提取中的优化应用 ［J］. 光学 精密工程 ， 2020 ， 28 （ 9 ）： 2096 - 2102 . doi: 10.37188/OPE.20202809.2096 http://dx.doi.org/10.37188/OPE.20202809.2096 Canny算子在PCBA目标边缘提取中的优化应用 LI Y ， ZHAO Q F ， YAN H ， et al . Optimized application of canny operator in PCBA target edge extraction ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 9 ）： 2096 - 2102 . （in Chinese） . doi: 10.37188/OPE.20202809.2096 http://dx.doi.org/10.37188/OPE.20202809.2096 Optimized application of canny operator in PCBA target edge extraction HOU Q B ， CHENG M M ， HU X W ， et al . Deeply supervised salient object detection with short connections ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence. IEEE ， ： 815 - 828 . Deeply supervised salient object detection with short connections AGRAWAL H ， DESAI K R ， WANG Y F ， et al . Nocaps： novel object captioning at scale ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . 272，2019 ， Seoul， Korea （South）. IEEE ， 2019 ： 8947 - 8956 . doi: 10.1109/iccv.2019.00904 http://dx.doi.org/10.1109/iccv.2019.00904 Nocaps： novel object captioning at scale KARPATHY A ， LI F F . Deep visual-semantic alignments for generating image descriptions ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence . IEEE ， 2015 ： 664 - 676 . doi: 10.1109/cvpr.2015.7298932 http://dx.doi.org/10.1109/cvpr.2015.7298932 Deep visual-semantic alignments for generating image descriptions VINYALS O ， TOSHEV A ， BENGIO S ， et al . Show and tell： a neural image caption generator ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 712，2015 ， Boston， MA， USA. IEEE ， 2015 ： 3156 - 3164 . doi: 10.1109/cvpr.2015.7298935 http://dx.doi.org/10.1109/cvpr.2015.7298935 Show and tell： a neural image caption generator JOHNSON J ， KARPATHY A ， LI F F . DenseCap： fully convolutional localization networks for dense captioning ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 4565 - 4574 . doi: 10.1109/cvpr.2016.494 http://dx.doi.org/10.1109/cvpr.2016.494 DenseCap： fully convolutional localization networks for dense captioning HENDRICKS L A ， VENUGOPALAN S ， ROHRBACH M ， et al . Deep compositional captioning： describing novel object categories without paired training data ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 1 - 10 . doi: 10.1109/cvpr.2016.8 http://dx.doi.org/10.1109/cvpr.2016.8 Deep compositional captioning： describing novel object categories without paired training data VENUGOPALAN S ， HENDRICKS L A ， ROHRBACH M ， et al . Captioning images with diverse objects ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2126，2017 ， Honolulu， HI， USA. IEEE ， 2017 ： 1170 - 1178 . doi: 10.1109/cvpr.2017.130 http://dx.doi.org/10.1109/cvpr.2017.130 Captioning images with diverse objects ANDERSON P ， HE X D ， BUEHLER C ， et al . Bottom-up and top-down attention for image captioning and visual question answering ［C］. 018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 6077 - 6086 . doi: 10.1109/cvpr.2018.00636 http://dx.doi.org/10.1109/cvpr.2018.00636 Bottom-up and top-down attention for image captioning and visual question answering KULKARNI G ， PREMRAJ V ， ORDONEZ V ， et al . BabyTalk： understanding and generating simple image descriptions ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2013 ， 35 （ 12 ）： 2891 - 2903 . doi: 10.1109/tpami.2012.162 http://dx.doi.org/10.1109/tpami.2012.162 BabyTalk： understanding and generating simple image descriptions ANDERSON P ， FERNANDO B ， JOHNSON M ， et al . Guided open vocabulary image captioning with constrained beam search ［C］. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen， Denmark. Stroudsburg， PA， USA ： Association for Computational Linguistics ， 2017 ： 936 - 945 .. doi: 10.18653/v1/d17-1098 http://dx.doi.org/10.18653/v1/d17-1098 Guided open vocabulary image captioning with constrained beam search REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［C］. IEEE Transactions on Pattern Analysis and Machine Intelligence . IEEE ， 2017 ： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： towards real-time object detection with region proposal networks PERAZZI F ， PONT-TUSET J ， MCWILLIAMS B ， et al . A benchmark dataset and evaluation methodology for video object segmentation ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. 2730，2016 ， Las Vegas， NV， USA. IEEE ， 2016 ： 724 - 732 . doi: 10.1109/cvpr.2016.85 http://dx.doi.org/10.1109/cvpr.2016.85 A benchmark dataset and evaluation methodology for video object segmentation Papineni K . BLEU ： a method for automatic evaluation of MT ［J］. Research Report ， Computer Science RC 22176 （ W0109 - 022 ）， 2001 . BLEU ： a method for automatic evaluation of MT BANERJEE S ， LAVIE A . METEOR： an automatic metric for MT evaluation with improved correlation with human judgments ［EB/OL］. 2005 . METEOR： an automatic metric for MT evaluation with improved correlation with human judgments ANDERSON P ， FERNANDO B ， JOHNSON M ， et al . SPICE： semantic propositional image caption evaluation ［C］. Computer Vision-ECCV ， 2016 ： 382 - 398 . doi: 10.1007/978-3-319-46454-1_24 http://dx.doi.org/10.1007/978-3-319-46454-1_24 SPICE： semantic propositional image caption evaluation 10.37188/OPE.2021.0244 TP394.1 TH691.9 A 1004-924X（2021）12-2944-12 李沛卓,万雪,李盛阳.基于多模态学习的空间科学实验图像描述[J].光学精密工程,2021,29(12):2944-2955. 李沛卓,万雪,李盛阳.基于多模态学习的空间科学实验图像描述[J].光学精密工程,2021,29(12):2944-2955. LI Pei-zhuo,WAN Xue,LI Sheng-yang.Image caption of space science experiment based on multi-modal learning[J].Optics and Precision Engineering,2021,29(12):2944-2955. LI Pei-zhuo,WAN Xue,LI Sheng-yang.Image caption of space science experiment based on multi-modal learning[J].Optics and Precision Engineering,2021,29(12):2944-2955. 中国科学院空间应用中心前瞻性课题重点项目（No.Y8031831WY） 2021-04-29 2021-05-28 2021-12-15 2022-01-07 光学精密工程 12 29