Text detection with kernel-sharing dilated convolutions and attention-guided FPN

共享核空洞卷积与注意力引导FPN文本检测 Text detection with kernel-sharing dilated convolutions and attention-guided FPN corresp first-author E-mail： mengyuebo@163.com E-mail： mengyuebo@163.com 孟月波（1979-），女，陕西省西安人，副教授，西安建筑科技大学硕士生导师，2014年获得西安交通大学大学工学博士学位，主要从事计算机视觉感知与理解，人工智能与智动化系统，建筑智能化技术领域研究。E-mail： mengyuebo@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370303&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370307&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370305&type= 22.01332855 32.00399780 孟月波 （1979-），女，陕西省西安人，副教授，西安建筑科技大学硕士生导师，2014年获得西安交通大学大学工学博士学位，主要从事计算机视觉感知与理解，人工智能与智动化系统，建筑智能化技术领域研究。E-mail： mengyuebo@163.com mengyuebo@163.com 金　丹（1997-），女，陕西省渭南人，西安建筑科技大学信息与控制工程学院硕士研究生，主要从事深度学习、场景文本检测与识别领域研究。E-mail： 2414536104@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370308&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370312&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370310&type= 22.01332855 32.00400543 金　丹 （1997-），女，陕西省渭南人，西安建筑科技大学信息与控制工程学院硕士研究生，主要从事深度学习、场景文本检测与识别领域研究。E-mail： 2414536104@qq.com 2414536104@qq.com 西安建筑科技大学 信息与控制工程学院，陕西 西安 710055 西安建筑科技大学 信息与控制工程学院，陕西 西安 710055 College of Information and Control Engineering， Xi 'an University of Architecture and Technology， Xi'an 710055， China College of Information and Control Engineering， Xi 'an University of Architecture and Technology， Xi'an 710055， China 高分辨率图像具有特征尺度差异较大的特点，针对其造成的细粒度特征难以捕获、多尺度特征融合不佳问题，提出一种共享核空洞卷积与注意力引导（Kernel-Sharing Dilated Convolutions and Attention-guided FPN，KDA-FPN）的复杂场景文本检测方法；提出最小交集（Intersection Over Minimum，IOM）后处理策略，改善因文本长宽比变化较大特性导致的掩膜重叠现象，提升检测效果。首先，模型以Resnet50为主干网络采用FPN结构捕获多尺度特征；然后，利用空洞卷积扩大特征感受野，提高特征信息的多尺度捕获能力，深层次挖掘文本细粒度特征，并通过共享核手段减少模型参数量，降低计算成本；同时，采用上下文注意模块（Context Attention Module，CxAM）捕捉多感受野间的语义信息关系，通过内容注意模块（Content Attention Module，CnAM）精确定位目标位置信息，增强多尺度融合能力，提升特征图质量；最后，将同一文本区域预测的候选框按大小排列，提出将面积最大的框与相邻文本框之间区域的交集面积占较小框面积的比值作为候选框筛选指标，抑制检测结果的掩模重叠现象，实现文本的精准检测。采用ICDAR2013、ICDAR2015、Total-Text数据集进行对比实验，实验结果表明，本文模型对于水平场景文本检测的精度和召回率分别为95.3和90.4；对于倾斜文本检测的精度和召回率分别为87.1和84.2；对于任意形状文本检测的精度和召回率分别为69.6和57.3。提出的算法有效克服了图像分辨率、文本形状与长度等因素的影响，提高了检测精度，得到了更为精准的文本边界。 High-resolution images have characteristic large differences in feature scales. To overcome the difficulty in capturing fine-grained features and the poor fusion of multi-scale features， a text detection method for complex scenes with kernel-sharing dilated convolutions and an attention-guided feature pyramid network （KDA-FPN） is proposed. An intersection over minimum （IOM） strategy is proposed to improve the mask overlap phenomenon （caused by the large change of the text aspect ratio） and detection effect. Firstly， the model uses ResNet50 as the backbone network to capture multi-scale features using the FPN structure. It then uses hole convolution to expand the feature receptive field， improve the multi-scale capture capability of feature information， deeply mine the fine-grained features of text， and reduce it by sharing the core. The model parameter quantity reduces the calculation cost. Concurrently， the context attention module （CxAM） is adopted to capture the semantic information relationship between multiple receptive fields， while the content attention module （CnAM） is applied to accurately locate the target position information to enhance the multi-scale fusion ability and improve the quality of the feature map. Finally， the candidate frames predicted by the same text area are arranged according to their sizes. To suppress the mask overlap of the detection result and achieve accurate text detection， the use of the intersection area ratio of the area between the largest area and adjacent text box to the area of smaller box， as the candidate box screening index， is proposed. The comparative experimental results based on the ICDAR2013 and ICDAR2015 Total-Text datasets show that the accuracy and recall rate of this model are 95.3 and 90.4， respectively， for horizontal scene text detection； 87.1 and 84.2， respectively， for the inclined text detection； and 69.6 and 57.3， respectively， for arbitrary shape text detection. The proposed algorithm effectively overcomes the influence of image resolution， text shape， length， and other factors， resulting in enhanced detection accuracy and highly accurate text boundaries. 文本检测 注意力结构 共享核空洞卷积 特征金字塔网络 text detection attention structure kernel-sharing dilated convolutions feature pyramid network 1 引　言 1 图像中的文本信息可以传达丰富而准确的高层语义信息，具有高度的概括性和抽象的描述能力，是理解图像场景内容的重要线索。自然场景文本检测技术使用边界框精确捕捉与定位场景中的文本实例，在智能交通、基于内容的图像/视频检索以及可穿戴/便携式视觉系统等诸多领域具有重要的应用 ［ 1 1 - 2 2 1-2 ］ 。 深度神经网络因其具有较强的深层次特征提取能力以及非线性拟合能力，相较于传统文本检测方法，能够较好地解决复杂自然场景下的文本图像到文本位置和文本内容的映射问题 ［ 3 3 ］ ，并且已取得了诸多的研究成果。按照文本目标的排列方向不同，这些方法可以分为水平方向文本检测方法 ［ 4 4 ］ 、倾斜方向文本检测方法 ［ 5 5 - 11 11 5-11 ］ 、弯曲文本乃至任意方向文本检测方法 ［ 12 12 - 16 16 12-16 ］ 。文献 ［ 4 4 ］ 针对水平方向文本首次利用垂直锚点回归机制得到固定宽度的竖直矩形文本区，通过卷积神经网络和循环神经网络联合预测文本的位置和类别，最终定位水平文本行；但垂直锚点结构的设计，使得该方法无法检测倾斜文本。文献 ［ 5 5 ］ 利用局部信息连接文本行切片，实现倾斜文本检测；但信息的切片与连接过程会引入一定的误差，影响检测精度。为降低中间步骤对性能的影响，文献 ［ 8 8 ］ 直接通过全卷积网络 ［ 17 17 ］ （Fully Convolutional Networks，FCN）产生文本框的预测，实现了端到端的训练和优化；但受感受野限制，对较长文本框检测效果欠佳。文献 ［ 9 9 ］ 提出了将长文本检测问题转换为检测文本头部和尾部边界问题的新思路，但当该模型应用于各种形状及大小共存的自然场景文本检测任务时，鲁棒性较差。至此，实现弯曲乃至任意形状大小的文本检测成为难点问题。文献 ［ 13 13 ］ 通过对输出层采用不规则卷积核来适应文本长度变化，克服了较大长宽比对文本检测任务的影响；但该模型在比例变化剧烈的情况下效果仍不理想。文献 ［ 15 15 ］ 结合回归思想，通过提出新的文本边缘点回归方式，克服了对文本目标长宽比大小的限制，实现多边形文本重构；但由于回归方式的约束，该方法对于弯曲程度较大的文本检测效果不佳。文献 ［ 16 16 ］ 首次提出了一种基于实例分割的掩模文本检测方法，通过掩膜分支完成文本实例的分割任务，打破了形状与大小的限制，且有效避免了同一图片中多目标的类间竞争问题，实现了任意形状文本区域的检测，检测精度提升显著。 随着科技水平的不断进步，高分辨率图像越来越普及，逐渐成为文本检测的主要对象。该类图像特征尺度差异较大，想要获取其多尺度信息，需要有更丰富的感受野，否则在提取文本目标特征时，会造成细粒度特征难以捕获、多尺度特征不佳问题。同时，复杂场景中的文本实例具有极端长宽比特点，现有候选框筛选方式难以实现伪目标的精细过滤，导致检测结果存在掩膜过度重叠问题，影响检测性能。 针对上述问题，本文借鉴文献 ［ 16 16 ］ 的掩膜文本检测思想，提出一种共享核空洞卷积与注意力机制引导FPN（Kernel-sharing Dilated Convolutions and Attention-guided FPN，KDA-FPN）的文本检测方法。特征提取部分通过具有共享核的空洞卷积，扩大感受野，深挖感受野细粒度特征，获取多尺度特征；同时，减少参数量，提升计算效率。并引入上下文注意模块与内容注意模块，加强对特征间语义关系与空间位置信息的关注，得到更全面的特征表达，提升特征融合质量。文本后处理部分，提出最小交集的候选框筛选策略（Intersection Over Minimum，IOM），将候选框中面积最大的框与相邻文本框之间区域的交集面积占较小框面积的比值作为候选框筛选评价指标，抑制采用交并比（Intersection Over Union，IOU） ［ 28 28 ］ 策略衡量两个集合的重叠度时，因文本区域长宽比和大小的剧烈变化导致掩膜重叠的问题，实现候选框精细筛选，从而提高检测精度。ICDAR2013 ［ 21 21 ］ ，ICDAR2015 ［ 22 22 ］ 以及Total-Text ［ 23 23 ］ 数据集的实验结果表明，本文方法显著提高了文本检测性能。 2 共享核空洞卷积与注意力引导FPN文本检测模型 1 2.1　网络结构 2 本文方法整体结构如 图1 图1 所示，具体包括4个部分：特征提取网络、候选框生成网络（Region Proposal Network，RPN） ［ 20 20 ］ 、分类与回归网络、Mask分支。特征提取网络以Resnet50为主干网络采用自底向上的前向传播方式，得到多尺度特征图｛ F 2、 F 3、 F 4、 F 5｝，通过共享核空洞卷积与注意力引导的特征金字塔网络KDA-FPN，提升特征的辨识能力。候选框生成网络通过anchor锚框机制 ［ 20 20 ］ 生成大量文本候选区域，本文anchor的大小设置为｛32×32，64×64，128×128，256×256，512×512｝，长宽比为｛0.5，1，2｝，候选区域经ROI Align ［ 24 24 ］ 实现输出与输入像素的一一对应。候选框生成网络RPN可看作文本区域粗检测过程，经ROI Align后的本文候选框区域为文本类别，非候选框区域为背景类别。分类与回归网络采用Fast RCNN模型 ［ 25 25 ］ ，分类分支通过全连接层输出置信度大小，将候选框生成网络RPN得到的文本区域进一步细分为文本区域与背景区域两类；回归分支将全连接层作为边界框回归器，通过真值与预测值的偏差权重，取得分类分支得到的本文区域的坐标位置信息。Mask分支用于像素级别的文本实例输出，通过非极大值抑制NMS ［ 18 18 ］ 以及提出的IOM最小边界框生成策略精细过滤候选框，生成与目标文本区域大小、形状一致的Mask掩模。 2.2　基于核共享空洞卷积与注意力引导的特征提取网络 2 特征金字塔网络FPN在文本检测任务中特征提取效果显著，但对高分辨率图像而言，其粗细粒度特征的尺度差异悬殊，使得模型捕获特征能力受到限制，造成部分细节信息缺失；同时，多尺度感受野间信息缺乏沟通，导致特征图质量欠佳。本文提出一种共享核空洞卷积与注意力引导的特征金字塔网络KDA-FPN，具体结构如 图2 图2 所示，该网络通过共享核空洞卷积，在减少参数量的同时改善多层次特征捕获能力，引入自注意力机制获得更强的语义和更准的定位信息，增强特征图辨识能力。 2 . 2 . 1　共享核空洞卷积模块 3 共享核空洞卷积模块（Kernel-sharing Dilated Convolution Module，KDM）结构如 图2 图2 所示，通过共享3×3卷积核的空洞卷积扩大输入特征 F 5的感受野，挖掘深层次细粒度特征，利用共享机制加强各感受野间的联系，减少参数量，降低模型复杂度；同时，对 F 5进行上采样得到全局粗粒度信息描述特征，并将其与获取的细粒度特征进行融合，得到模块KDM的输出特征 F 。 图2 图2 中，⊕表示特征融合操作。 2 . 2 . 2　注意力引导模块 3 特征 F 虽包含丰富的感受野信息，但由于冗余信息的存在，会降低检测精度。本文通过引入注意力引导模块（Attention-guide Module，AM），获得语义与定位信息之间的依赖关系，精确定位，提升特征质量，进而提高检测精度。AM模块如 图2 图2 所示，由两部分组成：上下文注意模块（Context Attention Module，CxAM）以及内容注意模块（Content Attention Module，CnAM）。其中，CxAM模块强化相关区域间特征的语义关系，使输出特征语义表达更加清晰；CnAM模块加强对空间位置信息的关注，弱化共享核空洞卷积对特征几何特性的影响，精确目标位置。最后，将CxAM、CnAM与KDM模块的输出特征融合，得到更全面的特征表达 F' 。 2.2.2.1　上下文注意模块CxAM 4 如 图3 图3 所示，通道数为 C 、高度为 H 、宽度为 W 的输入特征图 F 经式（1）~ 式（3） 式（3） ，获得通道数为 C' 的隐层子区域特征 Q 、 K 以及图像增强特征 V ， <math id="M1"><mo stretchy="false">{</mo><mi>Q</mi><mo>,</mo><mi>K</mi><mo stretchy="false">}</mo><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><msup><mrow><mi>C</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370342&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370336&type= 28.27866554 3.80999994 ， <math id="M2"><mi>V</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370351&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370347&type= 20.06599998 3.38666677 ： <math display="block" id="M3"><mi>Q</mi><mo>=</mo><mi>R</mi><mi>e</mi><mi>s</mi><mi>h</mi><mi>a</mi><mi>p</mi><mi>e</mi><mo stretchy="false">[</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><msup><mrow><mi>C</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msub><msup><mrow><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370357&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370354&type= 49.78400040 4.14866638 ， <math display="block" id="M4"><mi>K</mi><mo>=</mo><mi>R</mi><mi>e</mi><mi>s</mi><mi>h</mi><mi>a</mi><mi>p</mi><mi>e</mi><mo stretchy="false">[</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><msup><mrow><mi>C</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370362&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370359&type= 48.25999832 3.89466691 ， <math display="block" id="M5"><mi>V</mi><mo>=</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><msup><mrow><mi>C</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370366&type= 31.41133499 3.89466691 . 采用 公式（4） 公式（4） 计算 Q 和 K 的关系矩阵 A ， <math id="M6"><mi>A</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>X</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370385&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370382&type= 19.64266586 3.38666677 ， <math id="M7"><mi>X</mi><mo>=</mo><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370437&type= 19.55800056 2.87866688 。通过sigmoid激活函数和平均池化操作，得子区域特征相关性注意力矩阵 A '， <math id="M8"><msup><mrow><mi>A</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370394&type= 19.72733307 3.38666677 。 <math display="block" id="M9"><mi>A</mi><mo>=</mo><mi>R</mi><mi>e</mi><mi>s</mi><mi>h</mi><mi>a</mi><mi>p</mi><mi>e</mi><mo stretchy="false">[</mo><msup><mrow><mi>Q</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>⊗</mo><mi>K</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370403&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370400&type= 37.16867065 4.23333359 ， 式中， <math id="M10"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370468&type= 3.72533321 3.55599999 表示张量相乘。 最后，采用 公式（5） 公式（5） 获取区域间特征语义关系的注意力表征 E ， <math id="M11"><mi>E</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370411&type= 19.47333336 3.38666677 ： <math display="block" id="M12"><mi>E</mi><mo>=</mo><msup><mrow><mi>A</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>⊙</mo><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370415&type= 17.61066628 3.72533321 ， 式中，⊙表示按元素相乘。 2 . 2 . 2 . 2　内容注意模块CnAM 4 Resnet50网络中通道数为 C'' 、高度为 H 、宽度为 W 的 F 5特征图包含丰富空间位置信息。如 图4 图4 所示，将 F 5特征图作为输入，经 公式（6） 公式（6） 和（7），获得通道数为 C' 的隐层子区域特征 P ， Z ；通过 公式（8） 公式（8） 生成其关系矩阵 S ；之后，经sigmoid激活函数和平均池化操作，得子区域特征相关性注意力矩阵 S' 。 <math id="M13"><mo stretchy="false">{</mo><mi>P</mi><mo>,</mo><mi>Z</mi><mo stretchy="false">}</mo><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><msup><mrow><mi>C</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370427&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370423&type= 27.68600082 3.80999994 ， <math id="M14"><mi>S</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>X</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370434&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370431&type= 19.04999924 3.38666677 ， <math id="M15"><mi>X</mi><mo>=</mo><mi>H</mi><mo>×</mo><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370437&type= 19.55800056 2.87866688 ， <math id="M16"><mi>S</mi><mi mathvariant="normal">'</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370448&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370445&type= 19.13466644 3.80999994 。 <math display="block" id="M17"><mi>P</mi><mo>=</mo><mi>R</mi><mi>e</mi><mi>s</mi><mi>h</mi><mi>a</mi><mi>p</mi><mi>e</mi><mo stretchy="false">[</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><msup><mrow><mi>C</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msub><msup><mrow><mo stretchy="false">(</mo><mi>F</mi><mn mathvariant="normal">5</mn><mo stretchy="false">)</mo><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370453&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370450&type= 51.13866425 4.14866638 ， <math display="block" id="M18"><mi>Z</mi><mo>=</mo><mi>R</mi><mi>e</mi><mi>s</mi><mi>h</mi><mi>a</mi><mi>p</mi><mi>e</mi><mo stretchy="false">[</mo><mi>C</mi><mi>o</mi><mi>n</mi><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><msup><mrow><mi>C</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mn mathvariant="normal">5</mn><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370459&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370456&type= 49.52999878 3.89466691 ， <math display="block" id="M19"><mi>S</mi><mo>=</mo><mi>R</mi><mi>e</mi><mi>s</mi><mi>h</mi><mi>a</mi><mi>p</mi><mi>e</mi><mo stretchy="false">[</mo><msup><mrow><mi>P</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>⊗</mo><mi>Z</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370465&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370462&type= 36.06800079 4.23333359 . 式中， <math id="M20"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370468&type= 3.72533321 3.55599999 表示张量相乘。 最后，将 S' 结合 式（3） 式（3） 生成图像增强特征 V ，通过 式（9） 式（9） 获取区域间特征空间位置信息的注意力表征 D ， <math id="M21"><mi>D</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370484&type= 19.64266586 3.38666677 ： <math display="block" id="M22"><mi>D</mi><mo>=</mo><msup><mrow><mi>S</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>⊙</mo><mi>V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370494&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370490&type= 17.27199936 3.72533321 ， 式中，⊙表示按元素相乘。 2.3　IOM后处理算法 2 检测任务通常采用非极大值抑制算法（Non-Maximum Suppression，NMS） ［ 18 18 ］ ，通过计算边界框之间交集与并集的比值IOU过滤多余候选框，寻找最佳检测位置。然而，文本数据具有长宽比变化剧烈特点，候选区域经IOU筛选后，预测的结果仍会出现掩膜重叠现象，影响检测效果。 本文提出一种IOM（Intersection Over Minimum）的后处理筛选策略，实现候选框的精确过滤，具体步骤如下： （1）同一文本区域预测得到 N 个候选框，分别计算候选框面积，并按照面积大小将其排序，记作 S i （ i =1，2…， N ）， S 1 > S 2 > … > S N 。 （2）将当前面积最大候选框 S 1 分别与其他候选框按照 公式（10） 公式（10） 计算评价阈值 T j ， j =1，2…， N- 1，将依据该阈值进行候选框筛选。 <math display="block" id="M23"><msub><mrow><mi>T</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋂</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi>j</mi></mrow></msub></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi>j</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370500&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370498&type= 23.28333473 8.80533314 ， 其中，分子部分描述两个对比候选框的交叠面积，评价阈值 T j 反映对比候选框的交叠程度： i.若 T j > 0.5，说明候选框交叠程度占比较大，将 S 1 +j 移出候选框集合。为防止有效信息丢失，移除 S 1 +j 前需保留两部分的最小外接矩形； ii.若 T j < 0.5，说明候选框交叠程度占比较小，分别保留两个对比候选框 S 1 与 S 1 +j 。 （3）计算当前候选框个数，假设个数为 <math id="M24"><msup><mrow><mi>N</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370506&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370503&type= 3.72533321 3.13266683 ，令 <math id="M25"><mi>N</mi><mo>=</mo><msup><mrow><mi>N</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370512&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370509&type= 11.68400002 3.13266683 ，重复步骤（1）操作，直到 T j 均小于0.5，得到筛选结果。 2.4　损失函数 2 本文采用如 式（11） 式（11） 所示多任务损失函数，具体包括RPN网络损失 L rpn ，Fast Rcnn模块损失 L rcnn 和掩码损失 L mask 三部分。 <math display="block" id="M26"><mi>L</mi><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">r</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>+</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370518&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370515&type= 34.88266373 3.80999994 . L rpn 和 L rcnn 采用Faster RCNN中的损失定义形式 ［ 20 20 ］ ，掩码损失 L mask 采用交叉熵损失形式，计算如 式（12） 式（12） 所示： <math display="block" id="M27"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">k</mi></mrow></msub><mo>=</mo><mo>-</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>m</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">[</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>m</mi></mrow></msub><mo>×</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mi>S</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo></mrow></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">)</mo><mo>×</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>S</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370521&type= 57.23466873 14.98600006 式中， M 表示所有像素数目， x m 和 y m 表示第 m 个像素的坐标位置（ m =1，2，…， M ）， S 表示sigmoid函数。 3 实验及分析 1 3.1　实验环境和数据集 2 本文及所对比算法均在Ubuntu系统下进行，GPU型号为TitanV，环境配置为CUDA9.0+anaconda3+python3+tensorflow1.11.0。采用自然场景文本数据集ICDAR2013 ［ 21 21 ］ ，ICDAR2015 ［ 22 22 ］ 和Total-Text ［ 23 23 ］ 进行实验，验证本文方法的有效性。 3.2　评价指标 2 准确度、召回率和F度量值是文本检测任务常采用的评价指标，具体计算如式（ 13 13 ）、（ 14 14 ）和（15）所示。准确度表示预测为正的样本中预测正确的数目，常用 P 表示；召回率表示正样本被预测正确的数目，常用 R 表示；F度量值是基于准确度和召回率的调和平均值，常用 F 表示。 <math display="block" id="M28"><mi>P</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370527&type= 23.45266724 7.70466709 ， <math display="block" id="M29"><mi>R</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370535&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370532&type= 23.96066666 7.70466709 ， <math display="block" id="M30"><mi>F</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mo>×</mo><mi>P</mi><mo>×</mo><mi>R</mi></mrow><mrow><mi>P</mi><mo>+</mo><mi>R</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=19370538&type= 25.23066711 7.70466709 ， 其中， TP 表示正样本被判断为正确样本的数目， FN 表示正样本被判断为错误样本的数目， FP 表示负样本被判断为正确样本的数目。 3.3　网络训练 2 主干网络ResNet50选择ImageNet ［ 29 29 ］ 预训练结果作为初始化参数，其余模块的初始化参数采用随机生成方式。采用随机梯度下降算法SGD对网络参数进行训练，动量、权重衰减系数以及初始学习率分别设置为0.9，5×10 -4 ，0.001。网络训练过程中，Batch Size均设置为8，ICDAR2013数据集设置迭代次数为5 000次，ICDAR2015数据集设置迭代次数为50 000次，Total-text数据集设置迭代次数为60 000次。以ICDAR2015数据集为例对网络训练过程进行分析，其损失下降曲线如 图5 图5 所示。可以看出，网络训练初期损失下降较快，迭代到26 000次左右时损失曲线下降趋于平稳，最终收敛在0.2左右，说明本文网络参数的训练结果较为理想。 3.4　KDA-FPN各模块特征提取实验 2 本文KDA-FPN网络的特征提取过程如 图6 图6 所示，首先利用Resnet50主干网络获取多尺度特征图｛ F 2、 F 3、 F 4、 F 5｝；然后采用共享核空洞卷积KDM模块改善多层次特征的捕获能力；之后通过AM模块中的上下文注意模块CxAM、内容注意模块CnAM分别强化特征的语义关系和空间位置信息，提高特征表达能力；最后采用特征金字塔网络FPN将特征图｛ F 2、 F 3、 F 4、 F 5｝与其相邻特征图通过上采样和1×1卷积进行横向链接合并，得到描述不同语义信息的特征映射｛ P 2、 P 3、 P 4、 P 5｝。 本文以 图1 图1 展示的文本图像为例，对上述各模块文本特征提取过程进行实验说明。待检测图像经Resnet50主干网络提取到的多尺度特征｛ F 2、 F 3、 F 4、 F 5｝如 图7 图7 所示，KDM、AM中的CxAM和CnAM模块特征提取与融合结果如 图8 图8 所示。 由实验结果可以看出，KDM模块提取的特征图细节表达更丰富；CxAM模块提取到的特征图更为关注语义信息；CnAM模块提取到的特征图对空间位置关系更敏感；将三个模块输出的特征进行融合，为后续文本检测提供了强辨识能力特征图。 为进一步说明KDM与AM模块作用，此处对两个模块引入前后特征金字塔网络FPN特征提取结果进行对比分析。如 图6 图6 所示，不引入KDM模块、AM模块时，将特征金字塔网络FPN得到的特征映射记作｛ C 2、 C 3、 C 4、 C 5｝，具体实验结果如 图9 图9 （a）所示；引入KDM模块、AM模块时，将特征金字塔网络FPN得到的特征映射记作｛ P 2、 P 3、 P 4、 P 5｝，实验结果如 图9 图9 （b）所示。由实验结果可以看出，相较于｛ C 2、 C 3、 C 4、 C 5｝，｛ P 2、 P 3、 P 4、 P 5｝特征表征能力更强，文本信息捕获更全面。 3.5　IOM后处理策略实现过程 2 IOM后处理策略是一个迭代过程，这里仍以 图1 图1 展示的文本图像为例，通过其某一文本区域的一次迭代过程对IOM策略的实现进行说明。 待检测图像的当前次迭代输入如 图10 图10 （a）所示，红框位置文本区域包含6个交叠候选框，按照面积大小将其排序，记为 S 1 ， S 2 ， S 3 ， S 4 ， S 5 ， S 6 ，如 图10 图10 （b）所示。将 S 1 与 S 2 按照 公式10 公式10 进行计算交叠阈值 T 1 ，可以看出 T 1 > 0.5，因此将 S 2 移除并保留 S 1 与 S 2 的最小外接矩形 S' 1 ，该过程如 图10 图10 （c）、 图10 图10 （d）所示。继续重复上述操作，最终得到该区域候选框筛选结果，如 图10 图10 （e）所示。 3.6　ICDAR2013数据集实验及分析 2 该数据集是在2013年ICDAR阅读挑战赛中提出的，包含229张训练样本和233张测试样本，样本为外景街拍的水平文本图像，一幅图像中存在多种尺寸和多种字体的文本区域。实验结果如 图11 图11 所示，多算法性能结果对比如 表1 表1 所示。 方法 Precious Recall F-Measure Seglink［ 5 5 ］ 87.7 83.0 85.3 文献［ 6 6 ］ 88.0 78.0 83.0 CTPN［ 4 4 ］ 93.0 83.0 88.0 文献［ 16 16 ］ 94.1 88.1 91.0 PAN［ 30 30 ］ 89.2 89.7 89.4 SR-DeepText［ 31 31 ］ 90.2 81.9 85.9 文献［ 32 32 ］ 89.0 87.0 88.0 Ours 95.3 90.4. 92.8 由 图11 图11 中箭头指向处可见，本文算法明显改善了水平文本检测任务中的掩膜重叠问题，且改进后的定位结果更加准确。 由 表1 表1 可知，本文算法的准确度P较对比算法文献［ 16 16 ］提升了1.2，召回率R提升了2.3，F度量值提升了1.8。表明本文算法对复杂自然场景中的水平方向文本检测效果较好，优于近几年先进的文本检测算法。 3.7　ICDAR2015数据集实验及分析 2 该数据集是2015年ICDAR阅读挑战赛中提出的，包含1 000个训练样本和500个测试样本，样本为商场里随拍的倾斜文本图像，一幅图像中存在大小差异较大的文本区域。实验结果如 图12 图12 所示，多算法性能结果对比如 表2 表2 所示。 方法 Precious Recall F-Measure Seglink［ 5 5 ］ 73.1 76.8 75.0 文献［ 6 6 ］ 71.0 43.0 54.0 CTPN［ 4 4 ］ 74.0 52.0 61.0 文献［ 16 16 ］ 85.8 81.2 83.4 PAN［ 30 30 ］ 84.0 81.9 82.9 SR-DeepText［ 31 31 ］ 88.9 78.1 83.1 文献［ 32 32 ］ 80.0 58.0 67.0 Ours 87.1 84.2 85.6 从 图12 图12 箭头指向处可见，本文算法明显抑制了水平和倾斜文本检测时掩膜重叠的现象，使定位结果更加准确。并且对于一些较小的文本区域，本文算法表现优异。 由 表2 表2 可知，本文算法的准确度P较对比算法文献［ 16 16 ］提升了1.3，召回率R提升了3，F度量值提升了2.2；相较对比算法文献［ 31 31 ］，本文算法召回率R、F度量值均较高，准确度P与其相当。表明本文算法对复杂自然场景中的倾斜方向文本检测效果较好，优于近几年先进的文本检测算法。 3.8　Total-text数据集实验及分析 2 该数据集包含1 255个训练样本和300个测试样本，样本多采自现实生活场景和商业标识等，图像中存在水平、倾斜和弯曲三种文本区域。实验结果如 图13 图13 所示，多算法性能结果对比如 表3 表3 所示。 方法 Precious Recall F-Measure 文献［ 15 15 ］ 62.0 44.5 51.8 文献［ 16 16 ］ 69.0 55.0 61.3 文献［ 32 32 ］ 63.0 61.0 62.0 Ours 69.6 57.3 62.9 图13 图13 中箭头处表明本文算法对于任意形状文本检测的掩膜重叠问题有明显的改善，使定位更加精准。对于图中出现的漏检情况，分析其原因主要为：受训练数据的影响，有一些“文本”区域的标记带有背景，这样的训练数据在一定程度上影响训练过程。 由 表3 表3 可知，相较对比算法文献［ 16 16 ］，本文算法准确度P提升了0.6，召回率R提升了2.3，F度量值提升了1.6；相较对比算法文献［ 32 32 ］，本文算法准确度 P ， F 度量值均较高，召回率R与其相当。表明本文算法对复杂自然场景中的水平方向、倾斜方向以及弯曲方向文本检测效果较好，具有一定的竞争力。 3.9　消融实验 2 为了验证本文提出的后处理筛选策略IOM有效性，在ICDAR2013数据集、ICDAR2015数据集以及Total-text数据集上进行了测试，结果如 表4 表4 所示。可以看出，相比IOU，提出的IOM后处理筛选策略在ICDAR2013数据集上将算法的准确度 P 提升了0.7，召回率 R 提升了0.6，F度量值提升了0.7；在ICDAR2015数据集上将算法的准确度 P 提升了0.5，召回率 R 提升了1.5， F 度量值提升了1；在Total-text数据集上将算法的准确度 P 提升了0.4，召回率 R 提升了1.4，F度量值提升了1.1。消融实验结果表明，IOM后处理筛选策略显著提高了算法的检测性能。 2 方法 3 ICDAR2013 3 ICDAR2015 3 Total-text Precious Recall F-Measure Precious Recall F-Measure Precious Recall F-Measure 文献［ 16 16 ］ 94.1 88.1 91.0 85.8 81.2 83.4 69.0 55.0 61.3 proposed+IOU 94.1 88.7 91.3 86.6 82.7 84.6 69.2 55.9 61.8 proposed+IOM 94.8 89.3 92.0 87.1 84.2 85.6 69.6 57.3 62.9 4 结　论 1 本文提出了一种复杂场景下共享核空洞卷积与注意力引导FPN的文本检测方法（KDA-FPN）。该方法在特征提取阶段，通过共享核空洞卷积深层次挖掘细粒度特征，同时减少参数量、降低模型复杂度。利用上下文注意模块与内容注意模块精确表达目标位置信息，促进多尺度特征融合，提高特征图质量。提出IOM后处理策略来改善文本区域长宽比变化较大所带来的掩膜重叠问题，进而实现检测性能的提升。实验结果证明：本文模型对于自然场景水平文本检测的精度和召回率分别为95.3和90.4；对于倾斜文本检测的精度和召回率分别为87.1和84.2；对于任意形状文本检测的精度和召回率分别为69.6和57.3，效果提升显著。未来的工作将考虑把复杂场景下任意形状文本的识别作为最终目标。 参考文献 王润民 ， 桑农 ， 丁丁 ， 等 . 自然场景图像中的文本检测综述 ［J］. 自动化学报 ， 2018 ， 44 （ 12 ）： 2113 - 2141 . 自然场景图像中的文本检测综述 WANG R M ， SANG N ， DING D ， et al . Text detection in natural scene image： a survey ［J］. Acta Automatica Sinica ， 2018 ， 44 （ 12 ）： 2113 - 2141 . （in Chinese） Text detection in natural scene image： a survey 范丽丽 ， 赵宏伟 ， 赵浩宇 ， 等 . 基于深度卷积神经网络的目标检测研究综述 ［J］. 光学 精密工程 ， 2020 ， 28 （ 5 ）： 1152 - 1164 . 基于深度卷积神经网络的目标检测研究综述 FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese） Survey of target detection based on deep convolutional neural networks 王建新 ， 王子亚 ， 田萱 . 基于深度学习的自然场景文本检测与识别综述 ［J］. 软件学报 ， 2020 ， 31 （ 5 ）： 1465 - 1496 . 基于深度学习的自然场景文本检测与识别综述 WANG J X ， WANG Z Y ， TIAN X . Review of natural scene text detection and recognition based on deep learning ［J］. Journal of Software ， 2020 ， 31 （ 5 ）： 1465 - 1496 . （in Chinese） Review of natural scene text detection and recognition based on deep learning TIAN Z ， HUANG W L ， HE T ， et al . Detecting text in natural image with connectionist text proposal network ［C］. Computer Vision – ECCV 2016. Cham ： Springer International Publishing ， 2016 ： 56 - 72 . Detecting text in natural image with connectionist text proposal network SHI B G ， BAI X ， BELONGIE S . Detecting oriented text in natural images by linking segments ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 3482 - 3490 . Detecting oriented text in natural images by linking segments ZHANG Z ， ZHANG C Q ， SHEN W ， et al . Multi-oriented text detection with fully convolutional networks ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 4159 - 4167 . Multi-oriented text detection with fully convolutional networks ZHONG Z Y ， JIN L W ， ZHANG S Y ， et al . Deep Text： a new approach for text proposal generation and text detection in natural images ［C］. 2017 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. March 5 - 9 ， 2017 . New Orleans， LA. IEEE ， 2017 ： 1605 - 1617 . Deep Text： a new approach for text proposal generation and text detection in natural images ZHOU X Y ， YAO C ， WEN H ， et al . EAST： an efficient and accurate scene text detector ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 2642 - 2651 . EAST： an efficient and accurate scene text detector HUO Y J . AdvancedEAST ［EB/OL］. https：//github.com/huoyijie/AdvancedEAST. 2017 https://github.com/huoyijie/AdvancedEAST.2017 . AdvancedEAST LIAO M H ， SHI B G ， BAI X . TextBoxes： a single-shot oriented scene text detector ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 8 ）： 3676 - 3690 . TextBoxes： a single-shot oriented scene text detector HE W H ， ZHANG X Y ， YIN F ， et al . Deep direct regression for multi-oriented scene text detection ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . October 22-29， 2017 ， Venice， Italy . IEEE ， 2017 ： 745 - 753 . Deep direct regression for multi-oriented scene text detection DAI Y C ， HUANG Z ， GAO Y T ， et al . Fused text segmentation networks for multi-oriented scene text detection ［C］. 2018 24th International Conference on Pattern Recognition （ICPR） . 2024，2018 ， Beijing， China . IEEE ， 2018 ： 3604 - 3609 . Fused text segmentation networks for multi-oriented scene text detection LIAO M H ， SHI B G ， BAI X ， et al . TextBoxes： a fast text detector with a single deep neural network ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2730，2016 ， Las Vegas， Nevada. USA. IEEE ， 2016 ： 1611 - 1618 . TextBoxes： a fast text detector with a single deep neural network LONG S B ， RUAN J Q ， ZHANG W J ， et al . TextSnake： A flexible representation for detecting text of arbitrary shapes ［C］. Computer Vision – ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 19 - 35 . TextSnake： A flexible representation for detecting text of arbitrary shapes ZHU Y X ， DU J . Sliding line point regression for shape robust scene text detection ［C］. 2018 24th International Conference on Pattern Recognition （ICPR） . 2024，2018 ， Beijing， China . IEEE ， 2018 ： 3735 - 3740 . Sliding line point regression for shape robust scene text detection LYU P Y ， LIAO M H ， YAO C ， et al . Mask TextSpotter： an end-to-end trainable neural network for spotting text with arbitrary shapes ［C］. Computer Vision-ECCV 2018. Cham ： Springer International Publishing ， 2018 ： 71 - 88 . Mask TextSpotter： an end-to-end trainable neural network for spotting text with arbitrary shapes LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 712，2015 ， Boston， MA， USA . IEEE ， 2015 ： 3431 - 3440 . Fully convolutional networks for semantic segmentation NEUBECK A ， GOOL LVAN . Efficient non-maximum suppression ［C］. 18th International Conference on Pattern Recognition （ICPR' 06 ）. 2024，2006 ， Hong Kong， China. IEEE ， 2006： 850 - 855 . Efficient non-maximum suppression LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 936 - 944 . Feature pyramid networks for object detection REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . Faster R-CNN： towards real-time object detection with region proposal networks KARATZAS D ， SHAFAIT F ， UCHIDA S ， et al . ICDAR 2013 robust reading competition ［C］. 2013 12th International Conference on Document Analysis and Recognition . 2528，2013 ， Washington ， DC ， USA . IEEE ， 2013 ： 1484 - 1493 . ICDAR 2013 robust reading competition NEUMANN L ， MATAS J . Efficient Scene text localization and recognition with local character refinement ［C］. 2015 13th International Conference on Document Analysis and Recognition （ICDAR） . 2326，2015 ， Tunis ， Tunisia. IEEE ， 2015 ： 746 - 750 . Efficient Scene text localization and recognition with local character refinement CH'NG C K ， CHAN C S . Total-text： a comprehensive dataset for scene text detection and recognition ［C］. 2017 14th IAPR International Conference on Document Analysis and Recognition （ICDAR） . 915，2017 ， Kyoto ， Japan . IEEE ， 2017 ： 935 - 942 . Total-text： a comprehensive dataset for scene text detection and recognition HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision （ICCV） . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2980 - 2988 . Mask R-CNN GIRSHICK R . Fast R-CNN ［C］. 2015 IEEE International Conference on Computer Vision （ICCV） . 713，2015 ， Santiago， Chile . IEEE ， 2015 ： 1440 - 1448 . Fast R-CNN HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . Deep residual learning for image recognition 徐胜军 ， 欧阳朴衍 ， 郭学源 ， 等 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 ［J］. 光学 精密工程 ， 2020 ， 28 （ 7 ）： 1588 - 1599 . 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割 XU SH J ， OUYANG P Y ， GUO X Y ， et al . Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 7 ）： 1588 - 1599 . （in Chinese） Building segmentation in remote sensing image based on multiscale-feature fusion dilated convolution resnet 余永维 ， 韩鑫 ， 杜柳青 . 基于Inception-SSD算法的零件识别 ［J］. 光学 精密工程 ， 2020 ， 28 （ 8 ）： 1799 - 1809 . 基于Inception-SSD算法的零件识别 YU Y W ， HAN X ， DU L Q . Target part recognition based Inception-SSD algorithm ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1799 - 1809 . （in Chinese） Target part recognition based Inception-SSD algorithm DENG J ， DONG W ， SOCHER R ， et al . ImageNet： a large-scale hierarchical image database ［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition . 2025，2009 ， Miami ， FL， USA . IEEE ， 2009 ： 248 - 255 . ImageNet： a large-scale hierarchical image database WANG W H ， XIE E Z ， SONG X G ， et al . Efficient and accurate arbitrary-shaped text detection with pixel aggregation network ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27 - November 2 ， 2019 ， Seoul， Korea （South）. IEEE ， 2019： 8439 - 8448 . Efficient and accurate arbitrary-shaped text detection with pixel aggregation network ZHEN Y Q ， et al . " Scale Robust Deep Oriented-text Detection Network ［C］. 2020 Proceedings of the IEEE conference on Computer Vision and Pattern Recognition . Honolulu， HI， USA ： IEEE ， 2020 ： 1071 - 1080 . Scale Robust Deep Oriented-text Detection Network 刘燕 ， 温静 . 基于注意力机制的复杂场景文本检测 ［J］. 计算机科学 ， 2020 ， 47 （ 7 ）： 135 - 140 . 基于注意力机制的复杂场景文本检测 LIU Y ， WEN J . Complex scene text detection based on attention mechanism ［J］. Computer Science ， 2020 ， 47 （ 7 ）： 135 - 140 . （in Chinese） Complex scene text detection based on attention mechanism 10.37188/OPE.20212908.1955 TP273 A 1004-924X（2021）08-1955-13 孟月波,金丹,刘光辉等.共享核空洞卷积与注意力引导FPN文本检测[J].光学精密工程,2021,29(08):1955-1967. 孟月波,金丹,刘光辉等.共享核空洞卷积与注意力引导FPN文本检测[J].光学精密工程,2021,29(08):1955-1967. MENG Yue-bo,JIN Dan,LIU Guang-hui,et al.Text detection with kernel-sharing dilated convolutions and attention-guided FPN[J].Optics and Precision Engineering,2021,29(08):1955-1967. MENG Yue-bo,JIN Dan,LIU Guang-hui,et al.Text detection with kernel-sharing dilated convolutions and attention-guided FPN[J].Optics and Precision Engineering,2021,29(08):1955-1967. 国家自然科学基金面上项目（No.51678470）；陕西省自然科学基础研究计划面上项目（No.2020JM-473，No.2020JM-472）；西安建筑科技大学基础研究基金项目（No.JC1703）；西安建筑科技大学自然科学基金项目（No.ZR19046） 2021-01-07 2021-04-13 2021-08-15 2021-09-01 光学精密工程 8 29