Relocation non-maximum suppression algorithm

重定位非极大值抑制算法 Relocation non-maximum suppression algorithm 1 2 corresp first-author E-mail： sushuzhi@foxmail.com E-mail： sushuzhi@foxmail.com 苏树智（1987-），男，山东泰安人，博士，副教授，研究生导师，2017年于江南大学获得博士学位，主要从事模式识别及计算机视觉方面的研究。E-mail： sushuzhi@foxmail.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964704&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964709&type= 22.01333237 32.00399780 苏树智 （1987-），男，山东泰安人，博士，副教授，研究生导师，2017年于江南大学获得博士学位，主要从事模式识别及计算机视觉方面的研究。E-mail： sushuzhi@foxmail.com sushuzhi@foxmail.com 1 陈润斌（1996-），男，安徽黄山人，硕士研究生，主要从事计算机视觉及深度学习方面的研究。E-mail： rbchen163@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964718&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964728&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964723&type= 22.01332855 32.00399780 陈润斌 （1996-），男，安徽黄山人，硕士研究生，主要从事计算机视觉及深度学习方面的研究。E-mail： rbchen163@163.com rbchen163@163.com 3 1 安徽理工大学 计算机科学与工程学院，安徽 淮南 232001 安徽理工大学 计算机科学与工程学院，安徽 淮南 232001 School of Computer Science and Engineering， Anhui University of Science & Technology， Huainan 232001， China School of Computer Science and Engineering， Anhui University of Science & Technology， Huainan 232001， China 合肥综合性国家科学中心能源研究院（安徽省能源实验室），安徽 合肥 230031 合肥综合性国家科学中心能源研究院（安徽省能源实验室），安徽 合肥 230031 Institute of Energy， Hefei Comprehensive National Science Center， Hefei 230031， China Institute of Energy， Hefei Comprehensive National Science Center， Hefei 230031， China 安徽理工大学 机械工程学院，安徽 淮南232001 安徽理工大学 机械工程学院，安徽 淮南232001 School of Computer Mechanical Engineering， Anhui University of Science & Technology， Huainan 232001， China School of Computer Mechanical Engineering， Anhui University of Science & Technology， Huainan 232001， China 非极大值抑制（Non-Maximum Suppression， NMS）算法作为目标检测任务的后处理算法，其作用是从候选框集合中选出最优边界框并抑制其他候选框。传统NMS算法选取类别置信度最高的候选框作为最优边界框，忽略了类别置信度与定位精度之间的相关性，类别置信度高并不意味着该框的定位精度高。为了解决以上问题，提出一种新的重定位非极大值抑制（Relocation Non-Maximum Suppression， R-NMS）算法。选择类别置信度得分最高的候选框作为最优边界框，利用R-NMS算法提出的一种边界框距离度量方法替代交并比衡量边界框之间的距离。然后，获取最优边界框周围候选框的位置信息，利用位置信息对最优边界框执行重定位操作从而得到新的最优边界框。采用PASCAL VOC2012数据集进行测试，实验结果表明，与传统算法NMS和Soft-NMS相比，R-NMS算法在目标检测器YOLOv3上的mAP分别提高0.7%、0.5%，R-NMS算法在Faster-RCNN上的mAP达到80.83%。该算法能够有效提高目标检测器的检测精度。 Non-Maximum Suppression （NMS） is a post-processing algorithm used for object detection. It selects optimal bounding boxes from the bounding boxes set and suppresses other bounding boxes. NMS selects the bounding box with the highest score of classification confidence as the optimal bounding box. However， it ignores the correlation between localization accuracy and the classification confidence score. The classification confidence score cannot effectively represent the localization accuracy. This paper proposes a novel Relocation Non-Maximum Suppression （R-NMS） algorithm to solve the above-mentioned problem. First， the bounding box with the highest score of classification confidence in the bounding boxes set is selected as the optimal bounding box. Second， a new box distance measurement method is proposed based on R-NMS instead of using Intersection over Union （IoU） to measure the distance between the bounding boxes. Then， the location information of the bounding boxes around the optimal bounding box is obtained. Finally， the location information is used to relocate the optimal bounding box to obtain the new optimal bounding box. Compared with NMS and Soft-NMS， the mAP of R-NMS on YOLOv3 increased by 0.7 % and 0.5 %， respectively. The mAP of R-NMS on Faster-RCNN is 80.83 %， and the effectiveness of the proposed algorithm in the improvement of the mAP of various object detectors is confirmed. 计算机视觉 深度学习 目标检测 非极大值抑制 computer vision deep learning object detection non-maximum suppression 1 引 言 1 目标检测 ［ 1 1 ］ 是计算机视觉的主要研究领域之一。它的任务是找出图像或视频中人们感兴趣的物体，并检测出它们的位置和大小。不同于图像分类 ［ 2 2 ］ 任务，目标检测不仅要解决分类问题，还要解决定位问题。此外，目标检测构成了许多其他计算机视觉任务的基础，例如实例分割 ［ 3 3 ］ 、图像标注 ［ 4 4 ］ 和目标跟踪 ［ 5 5 ］ 。自2014年区域卷积网络目标检测算法 ［ 6 6 ］ 问世以来，基于卷积神经网络 ［ 7 7 ］ 的目标检测算法一直处于研究的前沿，相较于传统的目标检测算法，精度和速度都有了很大的提升。 基于卷积神经网络的目标检测算法 ［ 8 8 - 13 13 8-13 ］ 在预测阶段返回大量位置和尺寸不同的候选框，这些候选框大部分聚集在可能包含感兴趣目标的区域，对这些候选框执行保留和抑制操作很有必要。这些候选框只包含坐标与类别置信度信息。其中，坐标并不能作为决定最优边界框的依据，而类别置信度作为一个类别概率标签，用于表示候选框中存在某个类别物体的概率，类别置信度越高，候选框中存在某个类别物体的可能性越大。最优边界框的选定会影响后续的候选框抑制操作，如果不选择类别置信度得分最高的候选框而是选择其他候选框作为最优边界框，会导致类别置信度得分最高的候选框在候选框抑制阶段被移除，重复此操作，使得所保留的大部分最优边界框的定位精度较低，进而导致检测精度下降。因此，传统非极大值抑制（Non-Maximum Suppression， NMS）算法通常将类别置信度作为最优边界框的评价指标，对候选框按类别置信度降序排列 ［ 13 13 ］ ，并且选择类别置信度得分最高的候选框作为最优边界框 ［ 14 14 - 16 16 14-16 ］ 。然后，保留最优边界框并利用该框抑制与其交并比（Intersection over Union， IoU）大于一定阈值的候选框，如果在这些候选框中有多个对象存在，则选择剩余候选框中类别置信度最高的候选框作为下一个对象的最优边界框，并重复抑制过程，直到候选框全部被移除。传统NMS算法仅依靠类别置信度选择最优候选框，导致其定位精度较差。类别置信度是一个类别概率标签，它和定位精度之间的相关性很低 ［ 17 17 ］ ，因此类别置信度并不能有效代表定位精度 ［ 18 18 ］ 。传统NMS算法使用它来决定最优边界框意味着很容易返回次优边界框。虽然出现了很多改进算法 ［ 17 17 ， 19 19 - 20 20 19-20 ］ ，但这些算法大部分需要在主干网络添加新的损失函数并重新训练目标检测模型，增加了时间成本。Jiang等 ［ 17 17 ］ 提出在网络中添加预测分支来学习定位置信度，使用定位置信度作为最优候选框的筛选依据。He等 ［ 15 15 ］ 提出在网络中添加边界框回归损失函数，用于学习边界框变换和定位置信度。 上述改进算法通过为每个候选框分配利用网络学习到的定位置信度来避免选择最优边界框时依赖类别置信度。传统NMS算法认为与最优边界框重叠越大的候选框，越有可能是冗余框，因此，设定阈值用于判断候选框是否是冗余框。Liu等 ［ 19 19 ］ 发现在不同的目标检测场景下设置不同的阈值能够提高召回率，提出了Adaptive-NMS算法。Adaptive-NMS算法通过在网络中添加密度预测模块来学习框的密度，根据图像中物体分布的稀疏程度确定阈值从而获得更高的召回率。Soft-NMS算法 ［ 21 21 ］ 通过衰减而不是消除高度重叠边界框的类别置信度的策略，在一定程度上提高了召回率。但是上述算法的选框思想完全源自传统NMS算法，即选择类别置信度得分最高的候选框为最优边界框，并不能从根本上解决所选最优边界框定位精度不高的问题。为了解决该问题，本文提出一种重定位非极大值抑制（Relocation Non-Maximum Suppression， R-NMS）算法。该算法通过衡量边界框之间的距离，构建了一种利用最优边界框与其周围候选框之间的位置关系调整最优边界框位置的重定位选框法，在PASCAL VOC2012和MS COCO2014数据集上的实验表明，R-NMS算法的mAP相较于传统NMS算法和Soft-NMS算法有显著的提高。 2 相关工作 1 在目标检测任务中，通常使用传统NMS算法和Soft-NMS算法对预测阶段得到的候选框进行保留和抑制处理。 2.1　传统NMS 2 传统NMS算法中，候选框抑制过程中类别置信度 <math id="M1"><msub><mrow><mi>S</mi></mrow><mrow><mi>f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964738&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964733&type= 2.96333337 3.72533321 的计算过程如下： <math display="block" id="M2"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>M</mi><mo>⋂</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi>M</mi><mo>⋃</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964748&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964743&type= 33.18933105 8.89000034 ， 式中： <math id="M3"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964758&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964753&type= 3.38666677 2.87866688 代表最优边界框， <math id="M4"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964767&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964762&type= 2.62466669 3.72533321 为候选框。IoU用于衡量两个框之间的重合程度。 <math display="block" id="M5"><msub><mrow><mi>S</mi></mrow><mrow><mi>f</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo><</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>≥</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964775&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964771&type= 40.97866440 9.99066734 ， 式中 <math id="M6"><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964781&type= 3.64066648 3.80999994 为人工设定的阈值。当框 <math id="M7"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965423&type= 3.38666677 2.87866688 与 <math id="M8"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964805&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964800&type= 2.62466669 3.72533321 框的重合程度大于 <math id="M9"><mi>N</mi><mmultiscripts><mrow/><mprescripts/><mrow><mi>t</mi></mrow><mrow/></mmultiscripts></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964816&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964812&type= 4.65666676 3.80999994 时， <math id="M10"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964832&type= 2.62466669 3.72533321 框的类别置信度置为0， <math id="M11"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964832&type= 2.62466669 3.72533321 框被框 <math id="M12"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965423&type= 3.38666677 2.87866688 抑制。 2.2　Soft-NMS 2 Soft-NMS算法是一种基于传统NMS的改进算法。与传统NMS算法相同，其候选框也根据类别置信度排序，置信度得分最高的候选框被选为最优边界框。不同于传统NMS算法，Soft-NMS算法采用“权值惩罚”的方式调整类别置信度，即： <math display="block" id="M13"><msub><mrow><mi>S</mi></mrow><mrow><mi>f</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo><</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>×</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><mi>M</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>≥</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964852&type= 73.06733704 9.99066734 . 在Soft-NMS算法中，与框 <math id="M14"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965423&type= 3.38666677 2.87866688 有显著重叠的候选框不会立即被移除，但是它们的置信度得分会衰减。这一方式有效地提高了召回率，但Soft-NMS算法作为传统NMS算法的改进算法，其选择最优边界框的思想完全继承了传统NMS算法，不能从根本上解决所选最优边界框定位精度不高的问题。 3 R-NMS算法 1 3.1　接近度 <math id="M15"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 2 曼哈顿距离是两点之间的垂直和水平距离之和，点 <math id="M16"><mi>u</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964940&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964936&type= 13.80066681 4.91066647 和 <math id="M17"><mi>v</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964944&type= 13.88533401 4.82600021 之间的曼哈顿距离 <math id="M18"><msub><mrow><mi>H</mi></mrow><mrow><mi mathvariant="normal">M</mi></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964912&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964907&type= 14.39333248 4.48733330 为： <math display="block" id="M19"><msub><mrow><mi>H</mi></mrow><mrow><mi mathvariant="normal">M</mi></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">|</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">|</mo><mo>+</mo><mo stretchy="false">|</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">|</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964916&type= 48.51399994 4.91066647 . 本文提出两个边界框之间的接近度 <math id="M20"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 可以用 图1 图1 中点 <math id="M21"><mi>u</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964940&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964936&type= 13.80066681 4.91066647 ， <math id="M22"><mi>v</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964944&type= 13.88533401 4.82600021 之间的曼哈顿距离以及点 <math id="M23"><mi>m</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964953&type= 14.81666565 4.91066647 ， <math id="M24"><mi>n</mi><mo stretchy="false">(</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964969&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964964&type= 13.88533401 4.82600021 之间的曼哈顿距离之和表示： <math display="block" id="M25"><mi>P</mi><mo>=</mo><msub><mrow><mi>H</mi></mrow><mrow><mi mathvariant="normal">M</mi></mrow></msub><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>H</mi></mrow><mrow><mi mathvariant="normal">M</mi></mrow></msub><mo stretchy="false">(</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964991&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32964988&type= 41.40200043 4.48733330 . 接近度 <math id="M26"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 和 <math id="M27"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 都能表示边界框之间的接近程度，然而 <math id="M28"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 值随着重叠面积的改变呈现线性变化，如 图2 图2 所示。相比之下， <math id="M29"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 的变化是非线性的，在一定程度上其阈值更加敏感。为了证明在衡量边界框之间的距离时 <math id="M30"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 值优于 <math id="M31"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 ，4.2.2节对 <math id="M32"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 和 <math id="M33"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 在R-NMS算法上的性能进行了比较。 3.2　坐标标准化 2 接近度 <math id="M38"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965126&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965121&type= 2.45533323 2.79399991 在边界框尺寸相似的情况下能够有效地表示边界框之间的距离关系。然而，在目标检测的后处理阶段存在大量尺寸不同的候选框， 图3 图3 在右侧显示了两个大边框，左侧有两个小框。对每组边框进行 <math id="M39"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 值计算，得到： <math display="block" id="M40"><mtable><mtr><mtd><mi>P</mi><mo stretchy="false">(</mo><mi>a</mi><mo>,</mo><mi>b</mi><mo>,</mo><mi>c</mi><mo>,</mo><mi>d</mi><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">(</mo><mn mathvariant="normal">3</mn><mo>-</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">5</mn><mo>-</mo><mn mathvariant="normal">4</mn><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">4</mn><mo>-</mo><mn mathvariant="normal">3</mn><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">7</mn><mo>-</mo><mn mathvariant="normal">6</mn><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">4</mn><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965163&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965159&type= 54.10200119 8.89000034 <math display="block" id="M41"><mtable><mtr><mtd><mi>P</mi><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>,</mo><mi>m</mi><mo>,</mo><mi>n</mi><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">(</mo><mn mathvariant="normal">10</mn><mo>-</mo><mn mathvariant="normal">9</mn><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">3</mn><mo>-</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><mo stretchy="false">(</mo><mn mathvariant="normal">20</mn><mo>-</mo><mn mathvariant="normal">19</mn><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">11</mn><mo>-</mo><mn mathvariant="normal">10</mn><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">4</mn><mo>.</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965171&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965167&type= 56.64199829 8.89000034 显然，当两个框的尺寸有明显差异时， <math id="M42"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 值并不能准确衡量它们的重合程度。为了解决这一问题，本文引入了边界框坐标点标准化这一方法，该方法能够使坐标被固定到0~1之间，同时还能保持边界框之间的关系。坐标标准化公式如下： <math display="block" id="M43"><mi>X</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965183&type= 29.12533188 4.91066647 ， <math display="block" id="M44"><mi>Y</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965199&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965195&type= 29.04066467 4.91066647 ， <math display="block" id="M45"><mtable><mtr><mtd><mi mathvariant="normal">n</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">(</mo><mfrac><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo></mrow></mfrac><mo>,</mo></mtd></mtr><mtr><mtd><mfrac><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi>Y</mi><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>Y</mi><mo stretchy="false">)</mo><mo>-</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi>Y</mi><mo stretchy="false">)</mo></mrow></mfrac><mo stretchy="false">)</mo><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965205&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965202&type= 59.09733200 19.81200027 式中：norm用于坐标标准化， <math id="M46"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965216&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965210&type= 2.62466669 2.79399991 ， <math id="M47"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965224&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965221&type= 2.87866688 2.79399991 分别表示两个框的横坐标、纵坐标的集合， <math id="M48"><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965233&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965229&type= 13.46199989 3.55599999 ， <math id="M49"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965239&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965237&type= 12.78466606 3.55599999 表示两个框中横坐标的最大值和最小值。利用横坐标 <math id="M50"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965245&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965242&type= 2.79399991 3.72533321 到最小值的距离比上最大值和最小值之间的距离即可得到标准化后的横坐标，纵坐标的标准化计算过程和横坐标的相同。对 图3 图3 中右侧的两个边界框的坐标执行标准化操作后，它们的边界框坐标由 <math id="M51"><mi>u</mi><mo stretchy="false">(</mo><mn mathvariant="normal">10,2</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965246&type= 12.61533356 3.55599999 ， <math id="M52"><mi>v</mi><mo stretchy="false">(</mo><mn mathvariant="normal">20,10</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965255&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965252&type= 14.56266594 3.55599999 ， <math id="M53"><mi>m</mi><mo stretchy="false">(</mo><mn mathvariant="normal">9,3</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965258&type= 11.76866722 3.55599999 ， <math id="M54"><mi>n</mi><mo stretchy="false">(</mo><mn mathvariant="normal">19,11</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965264&type= 14.30866718 3.55599999 变换为 <math id="M55"><mi>u</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0.091,0</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965272&type= 17.52599907 3.55599999 ， <math id="M56"><mi>v</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1,0.899</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965284&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965281&type= 17.35666656 3.55599999 ， <math id="M57"><mi>m</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0,0.111</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965291&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965287&type= 18.45733452 3.55599999 ， <math id="M58"><mi>n</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0.909,1</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965299&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965295&type= 17.35666656 3.55599999 。它们的 <math id="M59"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 值利用 式（8） 式（8） 计算后为0.404。同理，图中左侧边界框的坐标分别由 <math id="M60"><mi>a</mi><mo stretchy="false">(</mo><mn mathvariant="normal">2,4</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965312&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965309&type= 10.83733368 3.55599999 ， <math id="M61"><mi>b</mi><mo stretchy="false">(</mo><mn mathvariant="normal">3,6</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965315&type= 10.66800022 3.55599999 ， <math id="M62"><mi>c</mi><mo stretchy="false">(</mo><mn mathvariant="normal">3,5</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965324&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965321&type= 10.41399956 3.55599999 ， <math id="M63"><mi>d</mi><mo stretchy="false">(</mo><mn mathvariant="normal">4,7</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965327&type= 11.26066685 3.55599999 转为 <math id="M64"><mi>a</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0,0</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965338&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965335&type= 10.83733368 3.55599999 ， <math id="M65"><mi>b</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0.5,0.667</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965344&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965341&type= 20.31999969 3.55599999 ， <math id="M66"><mi>c</mi><mo stretchy="false">(</mo><mn mathvariant="normal">0.5,0.333</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965350&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965347&type= 19.98133469 3.55599999 ， <math id="M67"><mi>d</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1,1</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965355&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965352&type= 11.09133339 3.55599999 ，最终 <math id="M68"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965369&type= 2.45533323 2.79399991 值为1.666。显然，坐标标准化后两组边界框的 <math id="M69"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965369&type= 2.45533323 2.79399991 值不相同。因此，标准化坐标后计算得到的 <math id="M70"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965369&type= 2.45533323 2.79399991 值能够区分边界框的重合情况。 3.3　最优边界框重定位 2 传统NMS和Soft-NMS算法选取最优候选框的过程是一致的。首先，候选框按类别置信度降序排列，然后选择类别置信度得分最高的候选框为最优边界框。然而，候选框的定位精度和类别置信度之间的相关性不大，类别置信度得分最高的候选框不一定是最优边界框。为此，R-NMS算法在得到最优边界框的基础之上，利用重定位选框法对它执行重定位操作，重定位过程如 图4 图4 所示。第一步，找到与最优边界框的接近度 <math id="M71"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 小于阈值（阈值取值在0~1.0，取0.3~0.5最佳）的候选框；第二步，计算最优边界框和符合第一步要求的候选框之间的平均偏移量；第三步，最优边界框利用第二步获取到偏移量进行重定位。计算过程如下： <math display="block" id="M72"><mi>O</mi><mo>=</mo><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">|</mo><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mi>M</mi><mo stretchy="false">|</mo></mrow></mrow><mrow><mi>n</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965384&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965381&type= 25.99266624 12.78466606 ， <math display="block" id="M73"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">R</mi></mrow></msub><mo>=</mo><mi>M</mi><mo>+</mo><mi>O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965392&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965387&type= 20.91266632 3.80999994 ， 式中： <math id="M74"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965415&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965412&type= 2.53999996 2.79399991 为符合条件的候选框集合， <math id="M75"><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965399&type= 3.30200005 3.72533321 为候选框， <math id="M76"><mi>O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965432&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965429&type= 2.96333337 2.87866688 为 <math id="M77"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965415&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965412&type= 2.53999996 2.79399991 中所有候选框与最优边界框 <math id="M78"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965423&type= 3.38666677 2.87866688 的偏移量。最优边界框 <math id="M79"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965423&type= 3.38666677 2.87866688 加上偏移量 <math id="M80"><mi>O</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965432&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965429&type= 2.96333337 2.87866688 即可得到R-NMS算法的最优边界框 <math id="M81"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">R</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965435&type= 4.99533367 3.72533321 。 3.4　边界框的保留和抑制 2 在模型预测阶段，同一个目标上会产生大量相似的候选框，存在大量的冗余数据，因此边界框的保留和抑制至关重要。在对这些边界框进行处理时，首先根据类别置信度对候选框排序，选择得分最高的候选框作为最优边界框，然后借助重定位选框法对最优边界框执行重定位操作得到新的最优边界框。最后，采用最优边界框抑制其他候选框。 图5 图5 中，左图的红框为借助重定位选框法得到的最优边界框，利用该最优边界框抑制蓝色的候选框，最终只保留红色边界框（彩图见期刊电子版）。 R-NMS算法的执行步骤如下： 输入：候选框集合 <math id="M82"><mi>B</mi><mo>=</mo><mo>{</mo><msub><mrow><mi>b</mi></mrow><mrow><mn>1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mn>2</mn></mrow></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965462&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965458&type= 24.55333328 3.89466691 ，阈值 <math id="M83"><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965504&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965502&type= 3.13266683 3.21733332 输出：最优边界框集合 <math id="M84"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965520&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965518&type= 2.45533323 2.37066650 1：候选框集合 <math id="M85"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965532&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965530&type= 2.11666679 2.37066650 根据对应的类别置信度得分按从低到高的顺序排列，取类别置信度得分最高的候选框 <math id="M86"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965522&type= 2.28600001 3.21733332 为最优边界框， <math id="M87"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965522&type= 2.28600001 3.21733332 从候选框集合 <math id="M88"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965532&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965530&type= 2.11666679 2.37066650 中移除。 2：利用当前最优边界框 <math id="M89"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965522&type= 2.28600001 3.21733332 计算与其他候选框的接近度 <math id="M90"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965610&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965608&type= 2.11666679 2.37066650 ，找到小于阈值 <math id="M91"><msub><mrow><mi>N</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965504&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965502&type= 3.13266683 3.21733332 的所有候选框。 3：计算当前最优边界框 <math id="M92"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965522&type= 2.28600001 3.21733332 与步骤2得到的候选框之间的平均偏移量，利用偏移量对最优边界框执行重定位操作得到新的最优边界框 <math id="M93"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965522&type= 2.28600001 3.21733332 ， <math id="M94"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965522&type= 2.28600001 3.21733332 加入到最优边界框集合 <math id="M95"><mi>D</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965520&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965518&type= 2.45533323 2.37066650 。 4：利用新的最优边界框 <math id="M96"><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965524&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965522&type= 2.28600001 3.21733332 抑制候选框集合中的其他候选框并从候选框集合 <math id="M97"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965532&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965530&type= 2.11666679 2.37066650 中移除。 5：递归执行步骤1至4直到候选框集合 <math id="M98"><mi>B</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965532&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965530&type= 2.11666679 2.37066650 为空。 4 实验分析与讨论 1 4.1　实验数据、模型及参数 2 本文的实验建立在公开可用的MS COCO2014和PASCAL VOC2012数据集上。MS COCO2014数据集共有80个类、164 042张图片，可分为训练集、验证集和测试集，分别有82 783，40 504，40 755张图片。在PASCAL VOC2012中训练、测试及验证数据集共包含17 125幅图像，20个类。这些数据集用于训练和评估深度学习目标检测模型。 实验选用pytorch框架，使用python3.8编程，硬件设备中CPU使用AMD Ryzen 9 3900X，内存为32 GB，GPU型号为GeForce RTX 2080Ti，显存为11 GB，系统环境为Ubuntu18.04。使用目标检测器YOLOv3、YOLOv5以及Faster RCNN对传统NMS，Soft-NMS和R-NMS算法的性能进行了比较评估。实验过程中，类别置信度的阈值设为0.2， <math id="M99"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 的阈值和接近度 <math id="M100"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 的阈值都设为0.5。 4.2　实验结果 2 4 . 2 . 1　R-NMS算法和其他算法的性能对比 3 利用YOLOv3，YOLOv5以及Faster RCNN算法在PASCAL VOC2012和MS COCO2014测试集上比较了传统NMS，Soft-NMS和R-NMS的性能，结果如 表1 表1 ~ 表2 表2 所示。与传统NMS相比，使用Soft-NMS作为目标检测任务的后处理算法时，在抑制边界框阶段对冗余边界框的类别置信度得分采取了“权值惩罚”策略，一定程度上减少了目标漏检，使得召回率有所提高，但是同时带来了目标重复检测问题，如 图6 图6 ~ 图7 图7 所示，部分目标被重复检测。重复检测导致精确率下降。在PASCAL VOC2012测试集上，YOLOv3算法的精确率由80.6%降至80.3%，YOLOv5算法的精确率降低了0.1%。在MS COCO2014测试集上，YOLOv3算法和YOLOv5算法的精确率都有所下降。 Method mAP@0.5：0.95 mAP@0.5 Recall Precision YOLOv3+NMS YOLOv3+Soft-NMS YOLOv3+R-NMS YOLOv5+NMS YOLOv5+Soft-NMS YOLOv5+R-NMS 47.0 47.2 47.7 56.7 56.8 57.2 67.2 67.6 67.6 75.0 75.1 75.3 72.5 72.6 72.7 78.1 77.7 78.4 80.6 80.3 80.9 82.6 82.7 83.0 % Method mAP@0.5：0.95 mAP@0.5 Recall Precision/% YOLOv3+NMS YOLOv3+Soft-NMS YOLOv3+R-NMS YOLOv5+NMS YOLOv5+Soft-NMS YOLOv5+R-NMS 34.8 34.8 35.2 42.0 42.0 42.5 53.0 53.4 53.5 60.8 61.3 61.4 59.2 59.7 59.9 61.8 62.0 62.1 65.9 65.6 66.4 74.6 73.9 74.8 % 本文提出的R-NMS算法，在传统NMS和Soft-NMS算法所选的最优边界框基础上充分利用其周围框的位置信息，对最优边界框执行重定位，最终获取到定位精确的最优边界框。在PASCAL VOC2012测试集上，R-NMS作为YOLOv3和YOLOv5算法的后处理算法，R-NMS算法的精确率高于传统NMS算法的80.6%，82.6%，R-NMS算法的召回率也从Soft-NMS算法的72.6%，77.7%提升至72.9%，78.3%。YOLOv3算法的mAP@0.5：0.95指标分别提升了0.7%，0.5%。YOLOv5算法的mAP@0.5∶0.95由传统NMS算法的56.7%，Soft-NMS的56.8%提升至R-NMS的57.2%。在MS COCO2014测试集上，YOLOv3和YOLOv5的实验结果如 表2 表2 所示。R-NMS算法的mAP@0.5∶0.95指标都优于传统NMS算法和Soft-NMS算法，召回率和精确率同上。在此基础之上，对3种非极大值抑制算法在PASCAL VOC2012测试集的实验结果进行了展示，如 图6 图6 ~ 图7 图7 所示，图中传统NMS和Soft-NMS算法所选的最优边界框经过R-NMS算法的重定位选框法处理后定位精度得到提升。 图6 图6 和 图7 图7 只选取了部分检测结果，利用R-NMS算法得到的最优边界框能准确地包围目标，传统NMS，Soft-NMS算法与之相比存在明显的差距。 图8 图8 展示了Faster RCNN算法在PASCAL VOC 2012测试集上的部分实验结果，在mAP这一指标上R-NMS算法相较于传统NMS，Soft-NMS算法分别提高了0.53%，0.36%。 以上实验结果证明了R-NMS算法的性能优于传统NMS和Soft-NMS算法。相比传统NMS算法和Soft-NMS算法，R-NMS算法不仅解决了传统NMS算法召回率低的问题，还提高了精确率。 4 . 2 . 2　接近度 <math id="M101"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 和 <math id="M102"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 的消融实验 3 本节比较了在R-NMS算法上 <math id="M103"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 和接近度 <math id="M104"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 的性能。实验建立在PASCAL VOC2012数据集上，实验结果如 表3 表3 所示，接近度 <math id="M105"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 在R-NMS算法上的各个性能评价指标上的表现均优于 <math id="M106"><mi mathvariant="normal">I</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">U</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965594&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965592&type= 6.09600019 2.79399991 。因此，当最优边界框周围存在大量候选框时，接近度 <math id="M107"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 能够帮助R-NMS算法选取更加合适的候选框用于后续重定位操作。 Method mAP@0.5∶0.95 mAP@0.5 Recall Precision YOLOv3+R-NMS（IoU） 47.5 67.3 72.7 80.6 YOLOv3+R-NMS（ P ） YOLOv5+R-NMS（IoU） YOLOv5+R-NMS（ P ） 47.7 57.1 57.2 67.6 75.1 75.3 72.7 78.3 78.4 80.9 82.9 83.0 % 4 . 2 . 3　R - NMS算法的阈值敏感性分析 3 实验中使用YOLOv3检测器和PASCAL VOC2012测试集，对R-NMS算法中接近度 <math id="M112"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 的阈值进行了敏感性分析。 图9 图9 展示了接近度 <math id="M113"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 的阈值分别为0.5，1.0时最优边界框及其周围候选框的位置信息（彩图见期刊电子版），左图的绿框代表最优边界框，红框代表最优边界框周围接近度 <math id="M114"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 小于阈值的候选框，右图绿框表示利用重定位选框法得到的最优边界框。当接近度 <math id="M115"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 的阈值为0.5时， 图10 图10 中R-NMS算法的mAP由67.2%提高到67.6%，此时最优边界框周围的候选框数量较少但定位精度较高，利用它们的位置信息能够提高最优边界框对物体的包围程度。因此， 图9 图9 （a）右图中最优边界框的定位精度相较于左图有所提升。当接近度 <math id="M116"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 的阈值为1.0时，最优边界框周围候选框的数量增多，但是这些新增候选框远离最优边界框并且包围物体的程度较低，利用该位置信息对最优边界框重定位会导致定位精度下降。此时，R-NMS算法在VOC2012测试集上的mAP下降至67%，低于传统NMS算法的67.2%。 当接近度 <math id="M117"><mi>P</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=32965639&type= 2.45533323 2.79399991 的阈值较低时，最优边界框能够利用的有效位置信息较多，使得重定位选框法得到的最优边界框包围物体的程度提高。随着阈值的提高，最优边界框获得更多周围候选框的位置信息，但是这些位置信息无效并且会降低最优边界框的定位精度。由此可知，R-NM法的性能在阈值较低时能够获得更好的性能。 4.3　定性分析 2 传统NMS算法和Soft-NMS算法选择类别置信度最高的候选框作为最优边界框，然后借助该框抑制任何与其高度重合的候选框，从而完成候选框的保留与抑制。但是在实验中发现，类别置信度和定位之间的相关性不高，有时候置信度低的边界框能更好地包围目标。 图11 图11 中左侧的检测结果来自传统NMS算法，而右侧的检测结果来自实验。传统NMS算法只是简单地返回类别置信度最高的边界框，即使该边界框不是很准确，忽略了类别置信度得分和定位精度之间的相关性很小。在传统NMS算法的处理下，包围骑手的边界框的类别置信度为0.48。但是候选框集合中存在另外一个能够将骑手包围的候选框，而该候选框的类别置信度只有0.40。显然，传统NMS算法只选择了类别置信度得分最高的候选框为最优边界框，而置信度得分较低但是能够精确包围目标的候选框却被丢弃。本文提出的R-NMS算法充分考虑到最优边界框周围存在类别置信度得分较低但是与最优边界框重合程度较高的候选框，充分利用它们的位置信息并融合到最优边界框，就能得到定位更加准确的最优边界框。上述实验证明了R-NMS算法的有效性，利用R-NMS算法处理得到的最优边界框与真实框的重合程度更高，因此R-NMS算法相较于传统NMS，Soft-NMS算法，所有评价指标都有明显的提升。 5 结 论 1 传统NMS算法及其变体Soft-NMS算法在选框阶段根据类别置信度选出最优边界框，而定位精度和类别置信度之间的相关性很低，类别置信度得分最高的候选框的不一定是最优边界框。针对上述问题，本文提出R-NMS算法。该算法综合考虑最优边界框与其周围候选框的位置信息，构建了一种重定位选框法，最优边界框可以借助该方法重新调整位置，最终提高其定位精度。实验结果证明：采用PASCAL VOC2012数据集测试，与传统NMS算法和Soft-NMS算法相比，R-NMS算法在目标检测器YOLOv3上的mAP分别提高0.7%，0.5%，R-NMS算法在Faster-RCNN上的mAP达到80.83%。该算法能提高目标检测器的检测精度。 参考文献 WU X W ， SAHOO D ， HOI S C H . Recent advances in deep learning for object detection ［J］. Neurocomputing ， 2020 ， 396 ： 39 - 64 . doi: 10.1016/j.neucom.2020.01.085 http://dx.doi.org/10.1016/j.neucom.2020.01.085 Recent advances in deep learning for object detection SUN Y N ， XUE B ， ZHANG M J ， et al . Automatically designing CNN architectures using the genetic algorithm for image classification ［J］. IEEE Transactions on Cybernetics ， 2020 ， 50 （ 9 ）： 3840 - 3854 . doi: 10.1109/tcyb.2020.2983860 http://dx.doi.org/10.1109/tcyb.2020.2983860 Automatically designing CNN architectures using the genetic algorithm for image classification LIU Y ， WU Y H ， WEN P S ， et al . Leveraging instance-， image- and dataset-level information for weakly supervised instance segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 3 ）： 1415 - 1428 . doi: 10.1109/tpami.2020.3023152 http://dx.doi.org/10.1109/tpami.2020.3023152 Leveraging instance-， image- and dataset-level information for weakly supervised instance segmentation CHENG Q M ， ZHANG Q ， FU P ， et al . A survey and analysis on automatic image annotation ［J］. Pattern Recognition ， 2018 ， 79 ： 242 - 259 . doi: 10.1016/j.patcog.2018.02.017 http://dx.doi.org/10.1016/j.patcog.2018.02.017 A survey and analysis on automatic image annotation CIAPARRONE G ， LUQUE SÁNCHEZ F ， TABIK S ， et al . Deep learning in video multi-object tracking： a survey ［J］. Neurocomputing ， 2020 ， 381 ： 61 - 88 . doi: 10.1016/j.neucom.2019.11.023 http://dx.doi.org/10.1016/j.neucom.2019.11.023 Deep learning in video multi-object tracking： a survey GIRSHICK R ， DONAHUE J ， DARRELL T ， et al . Rich feature hierarchies for accurate object detection and semantic segmentation ［C］. 2014 IEEE Conference on Computer Vision and Pattern Recognition . 2328，2014 ， Columbus ， OH ， USA . IEEE ， 2014 ： 580 - 587 . doi: 10.1109/cvpr.2014.81 http://dx.doi.org/10.1109/cvpr.2014.81 Rich feature hierarchies for accurate object detection and semantic segmentation KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM ， 2017 ， 60 （ 6 ）： 84 - 90 . doi: 10.1145/3065386 http://dx.doi.org/10.1145/3065386 ImageNet classification with deep convolutional neural networks WAN S H ， GOUDOS S . Faster R-CNN for multi-class fruit detection using a robotic vision system ［J］. Computer Networks ， 2020 ， 168 ： 107036 . doi: 10.1016/j.comnet.2019.107036 http://dx.doi.org/10.1016/j.comnet.2019.107036 Faster R-CNN for multi-class fruit detection using a robotic vision system WANG N ， GAO Y ， CHEN H ， et al . NAS-FCOS： efficient search for object detection architectures ［J］. International Journal of Computer Vision ， 2021 ， 129 （ 12 ）： 3299 - 3312 . doi: 10.1007/s11263-021-01523-2 http://dx.doi.org/10.1007/s11263-021-01523-2 NAS-FCOS： efficient search for object detection architectures 王建林 ， 付雪松 ， 黄展超 ， 等 . 改进YOLOv2卷积神经网络的多类型合作目标检测 ［J］. 光学 精密工程 ， 2020 ， 28 （ 1 ）： 251 - 260 . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 改进YOLOv2卷积神经网络的多类型合作目标检测 WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251 Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network 鞠默然 ， 罗海波 ， 刘广琦 ， 等 . 采用空间注意力机制的红外弱小目标检测网络 ［J］. 光学 精密工程 ， 2021 ， 29 （ 4 ）： 843 - 853 . doi: 10.37188/OPE.20212904.0843 http://dx.doi.org/10.37188/OPE.20212904.0843 采用空间注意力机制的红外弱小目标检测网络 JU M R ， LUO H B ， LIU G Q ， et al . Infrared dim and small target detection network based on spatial attention mechanism ［J］. Optics and Precision Engineering ， 2021 ， 29 （ 4 ）： 843 - 853 . （in Chinese） . doi: 10.37188/OPE.20212904.0843 http://dx.doi.org/10.37188/OPE.20212904.0843 Infrared dim and small target detection network based on spatial attention mechanism 马立 ， 巩笑天 ， 欧阳航空 . Tiny YOLOV3目标检测改进 ［J］. 光学 精密工程 ， 2020 ， 28 （ 4 ）： 988 - 995 . Tiny YOLOV3目标检测改进 MA L ， GONG X T ， OUYANG H K . Improvement of Tiny YOLOV 3 target detection ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 4 ）： 988 - 995 . （in Chinese） Improvement of Tiny YOLOV3 target detection NEUBECK A ， GOOL LVAN . Efficient non-maximum suppression ［C］. 18th International Conference on Pattern Recognition （ICPR' 06 ）. 2024，2006 ， Hong Kong， China. IEEE ， 2006： 850 - 855 . Efficient non-maximum suppression QIU S H ， WEN G J ， DENG Z P ， et al . Accurate non-maximum suppression for object detection in high-resolution remote sensing images ［J］. Remote Sensing Letters ， 2018 ， 9 （ 3 ）： 237 - 246 . doi: 10.1080/2150704x.2017.1415473 http://dx.doi.org/10.1080/2150704x.2017.1415473 Accurate non-maximum suppression for object detection in high-resolution remote sensing images HE Y H ， ZHU C C ， WANG J R ， et al . Bounding box regression with uncertainty for accurate object detection ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 2883 - 2892 . doi: 10.1109/cvpr.2019.00300 http://dx.doi.org/10.1109/cvpr.2019.00300 Bounding box regression with uncertainty for accurate object detection MA W C ， LI K D ， WANG G H . Location-aware box reasoning for anchor-based single-shot object detection ［J］. IEEE Access ， 8 ： 129300 - 129309 . Location-aware box reasoning for anchor-based single-shot object detection Jiang B ， Luo R ， Mao J ， et al . Acquisition of Localization Confidence for Accurate Object Detection ［C］. Proceedings of the European Conference on Computer Vision. 814，2018 ， Munich， Germany. Springer ， 2018 ： 784 - 799 . doi: 10.1007/978-3-030-01264-9_48 http://dx.doi.org/10.1007/978-3-030-01264-9_48 Acquisition of Localization Confidence for Accurate Object Detection ZENG J X ， XIONG J L ， FU X ， et al . ReFPN-FCOS： one-stage object detection for feature learning and accurate localization ［J］. IEEE Access ， 8 ： 225052 - 225063 . ReFPN-FCOS： one-stage object detection for feature learning and accurate localization LIU S T ， HUANG D ， WANG Y H . Adaptive NMS： refining pedestrian detection in a crowd ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 6452 - 6461 . doi: 10.1109/cvpr.2019.00662 http://dx.doi.org/10.1109/cvpr.2019.00662 Adaptive NMS： refining pedestrian detection in a crowd ZHENG Z H ， WANG P ， LIU W ， et al . Distance-IoU loss： faster and better learning for bounding box regression ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2020 ， 34 （ 7 ）： 12993 - 13000 . doi: 10.1609/aaai.v34i07.6999 http://dx.doi.org/10.1609/aaai.v34i07.6999 Distance-IoU loss： faster and better learning for bounding box regression BODLA N ， SINGH B ， CHELLAPPA R ， et al . Soft-NMS-improving object detection with one line of code ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 5562 - 5570 . doi: 10.1109/iccv.2017.593 http://dx.doi.org/10.1109/iccv.2017.593 Soft-NMS-improving object detection with one line of code 10.37188/OPE.20223013.1620 TP391.4 A 1004-924X（2022）13-1620-11 苏树智,陈润斌,朱彦敏等.重定位非极大值抑制算法[J].光学精密工程,2022,30(13):1620-1630. 苏树智,陈润斌,朱彦敏等.重定位非极大值抑制算法[J].光学精密工程,2022,30(13):1620-1630. SU Shuzhi,CHEN Runbin,ZHU Yanmin,et al.Relocation non-maximum suppression algorithm[J].Optics and Precision Engineering,2022,30(13):1620-1630. SU Shuzhi,CHEN Runbin,ZHU Yanmin,et al.Relocation non-maximum suppression algorithm[J].Optics and Precision Engineering,2022,30(13):1620-1630. 国家自然科学基金资助项目（No.61806006）；中国博士后科学基金资助项目（No.2019M660149）；合肥综合性国家科学中心能源研究院项目资助项目（No.19KZS203）；安徽省重点研发计划国际科技合作专项（No.202004b11020029） 2021-12-24 2022-02-19 2022-07-10 2022-08-07 光学精密工程 13 30