多特征融合高通量dPCR荧光图像识别

多特征融合高通量dPCR荧光图像识别 Multi-feature fusion high-throughput dPCR fluorescence image recognition corresp first-author E-mail： liujiesunx@163.com E-mail： liujiesunx@163.com 孙刘杰（1965-），男，安徽六安人，上海理工大学教授，硕士生导师，2009年于上海理工大学获得博士学位，主要从事光信息处理技术、印刷机测量与控制技术、数字印刷防伪技术相关研究。E-mail： liujiesunx@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051385&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051405&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051387&type= 22.01333618 32.00399780 孙刘杰 （1965-），男，安徽六安人，上海理工大学教授，硕士生导师，2009年于上海理工大学获得博士学位，主要从事光信息处理技术、印刷机测量与控制技术、数字印刷防伪技术相关研究。E-mail： liujiesunx@163.com liujiesunx@163.com 刘　丽（1996-），女，湖南郴州人，硕士研究生，2019年于湖南工业大学获得学士学位，主要从事数字图像处理相关研究。E-mail： 1074312816@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051412&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051420&type= 22.01333237 32.00401306 刘　丽 （1996-），女，湖南郴州人，硕士研究生，2019年于湖南工业大学获得学士学位，主要从事数字图像处理相关研究。E-mail： 1074312816@qq.com 1074312816@qq.com 上海理工大学 出版印刷与艺术设计学院，上海 200093 上海理工大学 出版印刷与艺术设计学院，上海 200093 College of Communication and Art Design， Shanghai University of Science and Technology， Shanghai 200093， China College of Communication and Art Design， Shanghai University of Science and Technology， Shanghai 200093， China 传统高通量dPCR荧光图像分析结果易因假阳性点与非特异性扩增而导致阳性点识别率较低，因而本文提出一种多特征融合高通量dPCR荧光图像识别方法（HDFINet），以提高阳性点识别准确性。首先，在特征融合部分引入自上而下结构，使得下层特征在顶层被更有效地利用。在自上而下结构中，使用通道注意力来分配荧光图像通道权重，并使用空间注意力来分配特征图中荧光图像像素相应权重，使得特征映射能够更好地响应荧光图像特征。然后，在RPN中使用自适应交并比IOU计算阳性点包围框置信度，减少阳性点信息丢失可能性。最后，ROI Align将荧光图像候选区域中阳性点特征重新固定尺寸后，输入至全连接层和全卷积层，进行类别与回归框回归，输出阳性点识别结果。本文提出的HDFINet网络具有较高识别率，可以有效地实现荧光图像阳性点识别，与YOLOv4、VF-Net、GROIE相比，本文方法综合指标F1最高，相比于经典的深度学习网络Mask R-CNN网络，本方法对阳性点识别真阳性率提高了1.13%，阳性预测值提高了0.36%，综合指标F1的值提高了0.75%。本文提出的HDFINet网络具有良好的识别性能，能够有效识别荧光图像阳性点，对其他荧光图像分析研究具有参考价值。 The results of traditional high-throughput dPCR fluorescence image analysis are prone to low positive spot recognition rate due to false positive points and non-specific amplification. Therefore， in this paper， a multi-feature fusion high-throughput dPCR fluorescence image recognition method （HDFINet） is proposed to improve the accuracy of high-throughput dPCR fluorescence image recognition. Firstly， a up-bottom structure is introduced in the feature fusion part so that the lower layer features can be used more effectively in the top layer. In the up-bottom structure， channel attention is used to assign channel weight of fluorescent image， and spatial attention is used to assign corresponding weight of fluorescent image pixels in the feature map， so that the feature map can better respond to the feature of fluorescent image positive points. Then， the confidence of the bounding box of positive points was calculated by using the adaptive Intersection-over-Union （IOU） in RPN to reduce the possibility of loss of positive points information. Finally， ROI Align re-fixed the size of the features in the candidate areas of fluorescent images， and then input them to the full connection layer and fully convolution layer to perform category and regression box regression and output positive point recognition results. The experimental results show that the HDFINet network proposed in this paper has a high recognition rate and can effectively realize the recognition of positive points in fluorescent images. Compared with YOLOv4， VF-Net， and GROIE， the comprehensive index F1 of the method in this paper is the highest， compared with the classic deep learning Network Mask R-CNN network， this method increases the true positive rate of positive points by 1.13%， the positive predictive value by 0.36%， and the value of the comprehensive index F1 by 0.75%. The HDFINET network proposed in this paper has good recognition performance and can effectively identify positive spots in fluorescence images， which has reference value for other fluorescence image analysis and research. dPCR 深度学习 荧光图像 阳性点 dPCR deep learning fluorescence image positive points 1 引　言 1 数字PCR（Digital Polymerase Chain Reaction，dPCR）是一种高灵敏度、高准确性的核酸绝对定量技术 ［ 1 1 - 3 3 1-3 ］ 。因其无需任何校正就能实现对目标核酸的绝对定量，且具有建立标准曲线的独立性、高灵敏度和特异性等显著优点。该技术在食品安全 ［ 4 4 - 5 5 4-5 ］ 、基因表达 ［ 6 6 - 8 8 6-8 ］ 、生物标记物发现 ［ 9 9 - 10 10 9-10 ］ 和疾病诊断等领域广泛运用。在dPCR中，快速准确地识别荧光图像中的阳性点对于保证检测的准确性至关重要。 传统的PCR荧光图像分析方法主要是通过分析荧光图像的阈值关系 ［ 11 11 - 12 12 11-12 ］ 、目标形状 ［ 13 13 ］ 、像素差异 ［ 14 14 ］ 、梯度信息等特点来实现荧光图像分割，刘聪等 ［ 15 15 - 16 16 15-16 ］ 在低浓度荧光液滴图像识别中先后提出了广义帕累托分布荧光微滴分类与改进的分水岭分割算法的荧光微滴识别方法。后者是基于前者的改进，主要是利用直方图均衡化和高斯滤波等预处理方法后使用局部自适应阈值分割提取目标，降低对图像灰度信息的依赖，最后结合荧光液滴形状等特点定义微滴黏连度函数，降低了分水岭分割中的错误分割比例，实现了荧光微滴分类，但识别率还有待提高。与阈值方法相比，机器学习通过提取尺度和梯度等特征，将已提取特征及图像对应标签输入到如支持向量机、自适应增强（Adaboost） ［ 17 17 ］ 等分类器中进行训练分类，实现荧光图像目标识别。Zhao等 ［ 18 18 ］ 提出了基于种子的聚类分割和K-means算法：首先利用融合双通道的图像得到核分割结果，接着提取三组核特征将其中五个特征经过最小冗余最大相关选择后用于随机森林分类器进行训练，最后实现了较好的荧光图像细胞分割；Gadea等 ［ 19 19 ］ 使用随机森林分类器将CHARM与SIFT分别提取到的神经元荧光图像特征进行分类训练，实现了高含量荧光显微图像神经元较好的检测效果，但该方法未实现计数功能。由上可知，荧光图像阳性点识别费时费力，无法完全适应大数据下的荧光图像分析任务。而基于深度学习的荧光图像分析可以进行端对端的学习，实现大数据下的高通量dPCR荧光图像处理与分析。近年来，具有层次特征学习能力的深度学习方法在生物医学图像分析方面取得了重大突破。主要是通过构建深度学习网络结构模型，学习荧光图像的鲁棒性和高层次特征表示与语义信息等，实现荧光图像细胞的识别检测。Konfhage等 ［ 20 20 ］ 提出一种基于特征金字塔融合的荧光图像中复杂真核细胞的检测，首先用ResNet训练细胞核特征，再与减少了层数的ResNet的Mask R-CNN ［ 21 21 ］ 模型的特征金字塔连接相加融合特征，使用细胞核信息来改进细胞检测和分割，细胞核通道用于提高细胞检测和质量。 本文提出了一种多特征融合高通量dPCR荧光图像识别方法来实现高通量dPCR荧光图像阳性点识别，提高荧光图像阳性点识别率。首先通过ResNet与特征金字塔提取荧光图像特征，再通过自上而下路径结构与注意力机制实现特征再融合；接着，区域建议网络RPN（Region Proposal Network）使用自适应交并比IOU（Intersection-over-Union），计算阳性点包围框置信度，输出阳性点候选框，然后将RPN得到的候选框使用ROI Align（Region of Interest Align）重新固定尺寸后，输入至全连接层和全卷积层得到阳性点识别结果。从实验结果可知，本方法具有识别率高、可靠性强等特点，在一定程度上使用有限的标记数据就能实现对高通量dPCR荧光图像阳性点识别，识别效果较佳且时间较短。 2 高通量dPCR荧光图像获取 1 本文研究对象为高通量dPCR基因芯片，在激发过程中使用窄带LED作为激发光源，经过二向色镜组的激发滤光片得到荧光激发波段的激发光，并使用准直透镜使LED光尽量均匀照射在基因芯片上。激发光经过二向色镜进入荧光显微物镜照射在基因芯片上，荧光染料吸收能量后产生荧光，最后通过成像适配物镜将荧光信息在CCD相机上成像。在成像物镜与CCD之间放入一块45°转向反射镜，在多次拍摄成像过程中，通过电控装置控制基因芯片水平位移台，顺序移动基因芯片，获取完整荧光图像并进行拼接 ［ 22 22 ］ ，成像原理如 图1 图1 所示。 3 高通量dPCR荧光图像识别网络 1 本文所提出的多特征融合高通量dPCR荧光图像识别方法（HDFINet）如 图2 图2 所示。第一部分为特征融合，ResNet网络提取荧光图像特征经过金字塔进行第一次特征融合，经由引入的自上而下的融合路径，实现荧光图像下层特征更有效提取，被上层特征所利用；同时，在自上而下结构中，引入注意力机制来分配荧光图像通道与空间权重，使特征映射能够更好地响应荧光图像特征。第二部分的RPN主要实现阳性点目标搜寻，为更好搜寻目标位置，使用自适应IOU来减少丢失荧光图像阳性点信息的可能性。第三部分为识别部分，ROI Align将荧光图像候选区域中阳性点特征重新固定尺寸后，输入至全连接层和全卷积层，进行类别与回归框回归，输出阳性点识别结果，并以不同颜色掩码表示每个阳性点所包含的像素区域。 3.1　特征融合 2 ResNet残差网络常用于提取特征，在深度神经网络中，下层特征通过几十个网络层到达顶层。经过许多层后，网络感受野扩大，细节信息保留较少，即高通量dPCR荧光图像阳性点较为低级别的信息丢失，如对比度与亮度和阴性点相差不大的阳性点，通过对下层特征的低级别信息特征进行重提取融合，可有效将阴性点与阳性点区分开。常见的结构即为ResNet与特征金字塔（Feature Pyramid Networks，FPN）结构，本文为将荧光图像下层特征层信息融入至上层特征层中，在FPN中引入自上而下的特征融合路径，通过注意力机制对荧光图像融合后特征进行权重分配，使特征层更好地响应荧光图像特征。 3 . 1 . 1　自上而下路径结构 3 本文使用ResNet来获得五个特征级别的特征层 <math id="M1"><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">2</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">3</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">4</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">5</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051443&type= 29.63333130 4.48733330 ，残差网络获得的荧光图像特征经自下而上特征融合后得到新的特征层，即 <math id="M2"><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">2</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">3</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">4</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">5</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051458&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051455&type= 25.82333374 4.48733330 ，计算过程见 公式（1） 公式（1） ： <math display="block" id="M3"><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>C</mi></mrow><mrow><mn mathvariant="normal">5</mn></mrow></msub><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">5</mn></mtd></mtr><mtr><mtd><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mo stretchy="false">(</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>⊕</mo><mi>U</mi><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">2,3</mn><mo>,</mo><mn mathvariant="normal">4</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051460&type= 63.58466721 10.32933331 ， 其中 <math id="M4"><mi>U</mi><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051474&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051472&type= 4.91066647 3.64066648 代表大小为2的上采样， <math id="M5"><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051496&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051481&type= 8.12800026 2.79399991 代表卷积核大小为 <math id="M6"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051577&type= 8.63599968 2.79399991 卷积。 通过引入自上而下的特征融合结构，利用来自较低层的精确定位信号来缩短信息路径并增强特征金字塔，如 图3 图3 中蓝色框所示。 自上而下的特征融合路径从 <math id="M7"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051492&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051490&type= 3.64066648 3.72533321 到 <math id="M8"><msub><mrow><mi>P</mi></mrow><mrow><mn mathvariant="normal">5</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051517&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051515&type= 3.64066648 3.72533321 通过卷积块后经注意力机制模块得到每个特征级别 <math id="M9"><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">2</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">3</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">4</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">5</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051528&type= 26.24666595 4.48733330 ，得到的特征映射大小与相应级别 <math id="M10"><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">2</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">3</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">4</mn><mi mathvariant="normal">、</mi><mn mathvariant="normal">5</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051522&type= 25.82333374 4.48733330 的大小相同， <math id="M11"><msub><mrow><mi>N</mi></mrow><mrow><mn mathvariant="normal">6</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051554&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051536&type= 4.06400013 3.80999994 为 <math id="M12"><msub><mrow><mi>N</mi></mrow><mrow><mn mathvariant="normal">5</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051548&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051545&type= 4.06400013 3.80999994 通过最大池化后经注意力机制模块所得，具体计算见 公式（2） 公式（2） ： <math display="block" id="M13"><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mfenced open="{" close="}" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">2</mn></mtd></mtr><mtr><mtd><mi>ο</mi><mo stretchy="false">(</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">1</mn><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>⊕</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">2</mn><mo stretchy="false">(</mo><msub><mrow><mi>N</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">3,4</mn><mo>,</mo><mn mathvariant="normal">5</mn></mtd></mtr><mtr><mtd><mi>ο</mi><mo stretchy="false">(</mo><mi>M</mi><mi>a</mi><mi>x</mi><mi>p</mi><mi>o</mi><mi>o</mi><mi>l</mi><mo stretchy="false">(</mo><msub><mrow><mi>N</mi></mrow><mrow><mn mathvariant="normal">5</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">6</mn></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051551&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051550&type= 74.84533691 16.08666801 ， 其中 <math id="M14"><mi>ο</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051564&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051568&type= 1.69333339 2.79399991 代表注意力模块， <math id="M15"><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051573&type= 9.90600014 2.79399991 代表卷积核大小为 <math id="M16"><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051579&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051577&type= 8.63599968 2.79399991 卷积。 <math id="M17"><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051590&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051582&type= 9.99066734 2.79399991 代表卷积核大小为 <math id="M18"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051595&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051602&type= 8.63599968 2.79399991 卷积。 3 . 1 . 2　注意力机制模块（Attention module， AM） 3 注意力机制广泛应用于在图像分类 ［ 23 23 ］ 、姿态估计 ［ 24 24 ］ 与图像字幕 ［ 25 25 ］ 等领域，使网络更关注图像中的重要信息。荧光图像中阳性点目标小而密集，易导致阳性点误识别以及未识别，因此在自上而下的特征融合路径中引入通道与空间注意力机制 ［ 26 26 ］ ，通道注意力的作用是增大有效通道权重，抑制无效通道权重，空间注意力在空间上对特征图不同位置分配不同权重，增强特征表达能力。 特征图 <math id="M19"><mi>F</mi><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mi mathvariant="normal">*</mi><mi>H</mi><mi mathvariant="normal">*</mi><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051597&type= 15.91733265 3.38666677 通过通道注意力产生通道权重 <math id="M20"><msub><mrow><mi>M</mi></mrow><mrow><mi>C</mi></mrow></msub><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>C</mi><mi mathvariant="normal">*</mi><mn mathvariant="normal">1</mn><mi mathvariant="normal">*</mi><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051617&type= 16.67933464 4.23333359 ，通道权重与特征图 <math id="M21"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051677&type= 2.53999996 2.79399991 逐元素相乘，得到新特征图，由于通道注意力得到的是特征图的全局信息，为了避免特征图中局部信息损失，本文将新特征图与特征图 <math id="M22"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051677&type= 2.53999996 2.79399991 求和，得到保留局部信息的特征图 <math id="M23"><msup><mrow><mi>F</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051638&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051648&type= 3.13266683 3.04800010 ，特征图 <math id="M24"><msup><mrow><mi>F</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051642&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051640&type= 3.13266683 3.04800010 经过空间注意力得到空间权重 <math id="M25"><msub><mrow><mi>M</mi></mrow><mrow><mi>S</mi></mrow></msub><mo>∈</mo><msup><mrow><mi>R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mi mathvariant="normal">*</mi><mi>H</mi><mi mathvariant="normal">*</mi><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051676&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051659&type= 17.69533348 4.23333359 ，特征图 <math id="M26"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051677&type= 2.53999996 2.79399991 与空间权重逐元素相乘，得到特征图 <math id="M27"><msup><mrow><msup><mrow><mi>F</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051685&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051664&type= 3.97933316 3.04800010 ，增强荧光图像特征表达，如 图4 图4 所示， <math id="M28"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051688&type= 3.55599999 3.55599999 表示逐元素相乘，GAP表示全局平均池化（Global Average Pooling），MLP表示多层感知机（Multilayer Perceptron）。注意力模块计算见 公式（3） 公式（3） ，通道注意力计算见 公式（4） 公式（4） ，空间注意力计算见 公式（5） 公式（5） ， <math id="M29"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051694&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051672&type= 1.69333339 2.79399991 表示softmax。 <math display="block" id="M30"><msup><mrow><msup><mrow><mi>F</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow><mrow><mi>'</mi></mrow></msup><mo>=</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>S</mi></mrow></msub><mo stretchy="false">(</mo><mo stretchy="false">(</mo><msub><mrow><mi>M</mi></mrow><mrow><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo>⊗</mo><mi>F</mi><mo stretchy="false">)</mo><mo>⊕</mo><mi>F</mi><mo stretchy="false">)</mo><mo>⊗</mo><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051715&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051712&type= 53.42466354 4.74133301 ， <math display="block" id="M31"><msub><mrow><mi>M</mi></mrow><mrow><mi>C</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>M</mi><mi>L</mi><mi>P</mi><mo stretchy="false">(</mo><mi>G</mi><mi>A</mi><mi>P</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051733&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051717&type= 46.48199844 4.48733330 ， <math display="block" id="M32"><msub><mrow><mi>M</mi></mrow><mrow><mi>S</mi></mrow></msub><mo stretchy="false">(</mo><msup><mrow><mi>F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>C</mi><mi>o</mi><mi>n</mi><mi>v</mi><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn><mo stretchy="false">(</mo><msup><mrow><mi>F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051732&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051730&type= 45.04266739 4.65666676 ， 3.2　荧光图像阳性点自适应IOU 2 如 图2 图2 中RPN部分所示，RPN的主要目的是搜寻荧光图像阳性点，通过交并比IOU的置信度分数大小，判断阳性点候选框与阳性点边界框重合度，IOU值越大说明阳性点候选框与阳性点边界框重合度越高，识别分割结果越精确；但在训练过程中偏大候选框易因IOU值稍微偏小被忽略，对于高通量dPCR荧光图像阳性点识别，偏大阳性点候选框能更好地包含被识别阳性点。为了解决部分候选框过小而导致阳性点信息丢失的可能性问题，在RPN中引入惩罚系数 <math id="M33"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051740&type= 1.77800000 2.79399991 重新设定IOU的大小。首先，对于高通量dPCR荧光图像阳性点识别，本文更希望候选框能够涵盖阳性点识别区域，本文将候选框相对大小在原候选框相对大小基础上扩大5%左右；扩大的新候选框尽可能将阳性点信息全面保留，从而减少阳性点丢失信息的可能性。此外，本文在传统的IOU标准定义中引入惩罚系数 <math id="M34"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051740&type= 1.77800000 2.79399991 来重新定义IOU，传统的IOU标准定义为： <math display="block" id="M35"><mi>I</mi><mi>O</mi><mi>U</mi><mo>=</mo><mfrac><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋂</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋃</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051744&type= 23.19866753 8.80533314 ， 式（6） 式（6） 中 <math id="M36"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051768&type= 3.38666677 3.72533321 为候选框， <math id="M37"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051786&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051784&type= 3.38666677 3.72533321 为真实值，对于区域 <math id="M38"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>-</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋂</mo><mi>S</mi><mmultiscripts><mrow/><mprescripts/><mrow><mn mathvariant="normal">2</mn></mrow><mrow/></mmultiscripts></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051794&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051777&type= 19.38866615 3.89466691 即未包含的阳性点区域惩罚力度和 <math id="M39"><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋂</mo><mi>S</mi><mmultiscripts><mrow/><mprescripts/><mrow><mn mathvariant="normal">2</mn></mrow><mrow/></mmultiscripts></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051797&type= 19.38866615 3.89466691 的惩罚力度一样。当 <math id="M40"><mi>λ</mi><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051810&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051808&type= 8.46666718 2.79399991 时， 式（6） 式（6） 与 式（7） 式（7） 相同， <math id="M41"><mi>I</mi><mi>O</mi><msub><mrow><mi>U</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051806&type= 10.66800022 3.72533321 计算公式定义为： <math display="block" id="M42"><mi>I</mi><mi>O</mi><msub><mrow><mi>U</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">w</mi></mrow></msub><mo>=</mo><mfrac><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋂</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋃</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>+</mo><mi>λ</mi><mo stretchy="false">(</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>-</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋂</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051813&type= 55.37200165 9.14400005 . 本文中 <math id="M43"><mi>λ</mi><mo>=</mo><mn mathvariant="normal">0.3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051836&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051833&type= 11.34533310 2.79399991 ，自适应IOU后的RPN层使得包含更多阳性点信息的候选框被保留。 3.3　荧光图像阳性点识别 2 RPN部分将搜寻到的荧光图像阳性点候选框经过置信度排序筛选后输入进ROI Align，ROI Align将荧光图像候选区域中阳性点特征重新固定尺寸后，输入至全连接层和全卷积层。这个过程分两步同时进行，第一个分支由一个256通道卷积层和两个1 024维全连接层组成，卷积核大小为7×7。一个全连接层用于荧光图像阳性点边界框回归，对阳性点进行定位，另一个全连接层对阳性点进行概率估计，判断目标是否属于阳性点进行分类预测。第二个分支由6个卷积层、一个2×2反卷积层和一个上采样层构成，前5个为256通道卷积层，卷积核大小为14×14，经过反卷积和上采样后得到一个28×28大小特征图。经过卷积和sigmoid函数进行输出，通过设定置信度阈值为0.5得到荧光图像阳性点分割掩码。最后将荧光图像阳性点识别结果输出。具体过程如 图5 图5 所示： 4 实验与结果 1 本文使用已标注荧光图像数据集进行实验。GROIE ［ 27 27 ］ 克服现有ROI（感兴趣区域）提取的局限性，即从FPN中只选择一个（最佳）层。提出FPN的所有层都保留有用的信息，引入非局部构建块和注意机制来改进Mask R-CNN，并在检测识别实验中取得良好结果，本文在荧光图像数据集上进行了实验，并将实验结果与本文提出的HDFINet进行了比较。VarifocalNet （VF-Net） ［ 28 28 ］ 引入IOU感知分类分数与变焦损失对大量候选框进行精确排序，提升密集物体识别性能；本文中的荧光图像阳性点分布密集，因此本文在VF-Net中验证了荧光图像的识别效果。YOLOv4 ［ 29 29 ］ 是一个高效、强大的单阶段检测模型。为了比较，本文在荧光图像数据集上验证了YOLOv4的效果。此外，本文进行了消融研究，选择Mask R-CNN作为消融研究的基线，以验证所提出的注意力机制和自上而下路径结构的有效性。实验结果表明，本文提出的方法性能优于Mask R-CNN、GROIE、VF-Net、YOLOv4。 4.1　实验环境 2 为验证文中提出的高通量dPCR荧光图像阳性点识别网络有效性，使用CCD相机拍摄高通量dPCR荧光图像，仿真实验平台为Python3.7，所使用计算机和配置环境的硬件参数为处理器Inter（R）Core（TM）i7-10700K。显卡芯片NVIDIA GeForce RTX 2070 SUPER，显卡芯片内存8 G。 4.2　数据集准备 2 本文根据高通量dPCR荧光图像阳性点的形状与亮度特征，使用霍夫圆检测并通过标注者二次筛选实现荧光图像阳性点的半自动标注，将标注好的图像转换为COCO注释格式。在本文实验中，选择并使用已标注高通量dPCR荧光图像数据集的6 500幅图像，从数据集中随机选择6 000幅图像作为训练图像，500幅图像作为测试图像，测试图像中共79 119个阳性点。 4.3　实验评价标准 2 本文用公式（ 8 8 ）、（ 9 9 ）、（ 10 10 ）作为评估标准。 TPR （True Positive Rate）表示真阳性率， PPV （Positive Preditive Value）表示阳性预测值， TP （True Positive）表示正确识别的阳性点个数， FP （False Positive）表示误识别为阳性点的个数， FN （False Negative）表示未被识别的阳性点个数。为全面评估模型，引入综合指标 <math id="M44"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 ［ 30 30 ］ 对 TPR 和 PPV 进行综合评价，用来衡量模型优劣， <math id="M45"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 的值越大，说明模型识别能力越好。本文使用 <math id="M46"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 来评估结果。 <math display="block" id="M47"><mi>T</mi><mi>P</mi><mi>R</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051869&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051851&type= 28.36333466 8.04333401 ， <math display="block" id="M48"><mi>P</mi><mi>P</mi><mi>V</mi><mo>=</mo><mfrac><mrow><mi>T</mi><mi>P</mi></mrow><mrow><mi>T</mi><mi>P</mi><mo>+</mo><mi>F</mi><mi>P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051873&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051871&type= 28.10933495 8.04333401 ， <math display="block" id="M49"><mi>F</mi><mn mathvariant="normal">1</mn><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mo>×</mo><mi>T</mi><mi>P</mi><mi>R</mi><mo>×</mo><mi>P</mi><mi>P</mi><mi>V</mi></mrow><mrow><mi>T</mi><mi>P</mi><mi>R</mi><mo>+</mo><mi>P</mi><mi>P</mi><mi>V</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051879&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051875&type= 36.91466904 8.04333401 . 4.4　实验结果分析 2 4 . 4 . 1　消融实验 3 本文选择Mask R-CNN作为消融研究的基线。为了公平比较，所有实验数据和参数设置保持不变。Mask R-CNN with B表示加入自上而下结构，Mask R-CNN with AM表示加入注意力机制。如 表1 表1 消融实验结果所示，在Mask R-CNN中加入自上而下的结构后，模型指标 <math id="M50"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 提高了0.52%。通过增加了自上而下的结构，缩短了信息路径，并通过来自较低级别的精确定位信号增强了特征金字塔。 Method TP FN FP PPV TPR F 1 Mask R-CNN 77 392 1 727 554 99.29% 97.82% 98.55% Mask R-CNN with B 78 107 1 012 447 99.43% 98.72% 99.07% Mask R-CNN with AM 77 918 1 201 151 99.81% 98.48% 99.14% HDFINet （ours） 78 287 832 275 99.65% 98.95% 99.30% 在Mask R-CNN中随着对FPN结构增加通道与空间方向上注意力机制后，模型指标 <math id="M51"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 提高了0.59%。主要是通道注意力与空间注意力产生具有不同权重的荧光图像注意力图，增强荧光图像阳性点处特征，并减轻荧光图像背景影响。 此外，通过对自上而下的结构增加注意力机制，即HDFINet，模型指标 <math id="M52"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 提高了0.75%。消融实验说明：引入自上而下结构与注意力机制能有效提高网络的综合指标。 图6 图6 是消融实验结果图，颜色表示某一颜色区域的像素都属于某一阳性点，所有阳性点颜色都使用不一样伪彩色掩码表示。从 图6 图6 可知，引入自上而下结构与注意力机制后的网络已经全部识别出阳性点，而只引入其中一种或不引入，都存在未识别出来的阳性点或误识别，图中以红框框出。 4 . 4 . 2　对比实验 3 在本节中，本文将提出的方法HDFINet与Mask R-CNN、GROIE、VF-Net和YOLOv4四种方法进行了比较。 表2 表2 显示了不同方法下识别结果的比较， 图7 图7 为不同方法下的识别效果图，图中用红色方框将未识别以及误识别的部位框出。 Method TP FN FP PPV TPR F 1 VF-Net 71 090 8 029 977 98.64% 89.85% 94.04% GROIE 74 610 4 509 12 99.98% 94.30% 97.06% YOLOv4 76 851 2 268 2 789 96.50% 97.13% 96.81% Mask R-CNN 77 392 1 727 554 99.29% 97.82% 98.55% HDFINet（ours） 78 287 832 275 99.65% 98.95% 99.30% GROIE认为FPN的所有层都保留有用的信息，并引入了非局部构建块和注意机制，然后使用改进的Mask R-CNN网络对目标进行识别。GROIE对荧光图像阳性点的 <math id="M53"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 指标值比本文方法低2.24%，GROIE将FPN所有层的荧光图像特征信息聚合，引入了非必要的背景和无关信息，引起ROI提取效果不佳。VF-Net在COCO数据集上实现了更强的检测性能，但在荧光图像数据集上效果不佳，基于无锚的密集检测器对于荧光图像数据集中小而密集的阳性点搜寻结果较差， <math id="M54"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 指标值比本文方法低5.26%。YOLOv4为了提升准确度，加深了网络深度，获得更大的感受野，同时引入注意力机制通过路径聚合重组特征信息，网络层数加深以及感受野的扩大使荧光图像保留的细节信息变少，且荧光图像中的阳性点目标小而密集，使得在识别阶段的效果较差且误检较高， <math id="M55"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 指标值比本文方法低2.49%。本文提出的HDFINet网络与Mask R-CNN相比， <math id="M56"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 指标值提高0.75%。 5 结　论 1 本文在基于高通量dPCR荧光图像阳性点特征基础上，设计了多级特征融合结构，通过在Mask R-CNN中添加注意力机制和自上而下的结构来构建；添加注意力机制和自上而下的结构增强了荧光图像较为低级结构信息从下层到顶层的传播，并提出了一种具有较高识别率的多特征融合高通量dPCR荧光图像识别方法（HDFINet）。实验结果表明，与基线模型Mask R-CNN相比，有效提高了高通量dPCR荧光图像阳性点识别率，综合指标 <math id="M57"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 提高了0.75%。与YOLOv4、VF-Net、GROIE相比，本文方法综合指标 <math id="M58"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051984&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=27051995&type= 4.40266657 2.79399991 最高。说明本文方法对高通量荧光图像的有效性和先进性。对其他荧光图像分析也具有一定研究参考价值。 参考文献 JONES M ， WILLIAMS J ， GÄRTNER K ， et al . Low copy target detection by droplet digital PCR through application of a novel open access bioinformatic pipeline， ‘definetherain’ ［J］. Journal of Virological Methods ， 2014 ， 202 ： 46 - 53 . doi: 10.1016/j.jviromet.2014.02.020 http://dx.doi.org/10.1016/j.jviromet.2014.02.020 Low copy target detection by droplet digital PCR through application of a novel open access bioinformatic pipeline， ‘definetherain’ JIANG Y F ， WANG H F ， HAO S J ， et al . Digital PCR is a sensitive new technique for SARS-CoV-2 detection in clinical applications ［J］. Clinica Chimica Acta ， 2020 ， 511 ： 346 - 351 . doi: 10.1016/j.cca.2020.10.032 http://dx.doi.org/10.1016/j.cca.2020.10.032 Digital PCR is a sensitive new technique for SARS-CoV-2 detection in clinical applications DONG L H ， ZHOU J B ， NIU C Y ， et al . Highly accurate and sensitive diagnostic detection of SARS-CoV-2 by digital PCR ［J］. Talanta ， 2021 ， 224 ： 121726 . doi: 10.1016/j.talanta.2020.121726 http://dx.doi.org/10.1016/j.talanta.2020.121726 Highly accurate and sensitive diagnostic detection of SARS-CoV-2 by digital PCR ZHANG Z W ， LI P W ， HU X F ， et al . Microarray technology for major chemical contaminants analysis in food： current status and prospects ［J］. Sensors ， 2012 ， 12 （ 7 ）： 9234 - 9252 . doi: 10.3390/s120709234 http://dx.doi.org/10.3390/s120709234 Microarray technology for major chemical contaminants analysis in food： current status and prospects NISHI K ， ISOBE S I ， ZHU Y ， et al . Fluorescence-based bioassays for the detection and evaluation of food materials ［J］. Sensors （Basel， Switzerland） ， 2015 ， 15 （ 10 ）： 25831 - 25867 . doi: 10.3390/s151025831 http://dx.doi.org/10.3390/s151025831 Fluorescence-based bioassays for the detection and evaluation of food materials HANDSCHUH L ， KAŹMIERCZAK M ， MILEWSKI M ， et al . Gene expression profiling of acute myeloid leukemia samples from adult patients with AML-M1 and-M2 through boutique microarrays， real-time PCR and droplet digital PCR ［J］. International Journal of Oncology ， 2017 ： 656 - 678 . Gene expression profiling of acute myeloid leukemia samples from adult patients with AML-M1 and-M2 through boutique microarrays， real-time PCR and droplet digital PCR CHATER-DIEHL E J ， LAUFER B I ， CASTELLANI C A ， et al . Alteration of gene expression， DNA methylation， and histone methylation in free radical scavenging networks in adult mouse hippocampus following fetal alcohol exposure ［J］. PLoS One ， 2016 ， 11 （ 5 ）： e0154836 . doi: 10.1371/journal.pone.0154836 http://dx.doi.org/10.1371/journal.pone.0154836 Alteration of gene expression， DNA methylation， and histone methylation in free radical scavenging networks in adult mouse hippocampus following fetal alcohol exposure HALL S M ， COULTER S J ， KNUDSEN G A ， et al . Gene expression changes in immune response pathways following oral administration of tetrabromobisphenol A （TBBPA） in female Wistar Han rats ［J］. Toxicology Letters ， 2017 ， 272 ： 68 - 74 . doi: 10.1016/j.toxlet.2017.03.008 http://dx.doi.org/10.1016/j.toxlet.2017.03.008 Gene expression changes in immune response pathways following oral administration of tetrabromobisphenol A （TBBPA） in female Wistar Han rats ADACHI T ， NAKANISHI M ， OTSUKA Y ， et al . Plasma microRNA 499 as a biomarker of acute myocardial infarction ［J］. Clinical Chemistry ， 2010 ， 56 （ 7 ）： 1183 - 1185 . doi: 10.1373/clinchem.2010.144121 http://dx.doi.org/10.1373/clinchem.2010.144121 Plasma microRNA 499 as a biomarker of acute myocardial infarction YAN I K ， WANG X ， ASMANN Y W ， et al . Circulating extracellular RNA markers of liver regeneration ［J］. PLoS One ， 2016 ， 11 （ 7 ）： e0155888 . doi: 10.1371/journal.pone.0155888 http://dx.doi.org/10.1371/journal.pone.0155888 Circulating extracellular RNA markers of liver regeneration 徐静 ， 汪磊 ， 赵俊 ， 等 . 用于数字等温扩增系统的荧光图像分析技术 ［J］. 中国医学物理学杂志 ， 2020 ， 37 （ 10 ）： 1255 - 1261 . doi: 10.3969/j.issn.1005-202X.2020.10.008 http://dx.doi.org/10.3969/j.issn.1005-202X.2020.10.008 用于数字等温扩增系统的荧光图像分析技术 XU J ， WANG L ， ZHAO J ， et al . Fluorescence image analysis technique for digital isothermal amplification system ［J］. Chinese Journal of Medical Physics ， 2020 ， 37 （ 10 ）： 1255 - 1261 . （in Chinese） . doi: 10.3969/j.issn.1005-202X.2020.10.008 http://dx.doi.org/10.3969/j.issn.1005-202X.2020.10.008 Fluorescence image analysis technique for digital isothermal amplification system 李如峰 . 荧光显微图像中微液滴自动检测方法研究 ［D］. 上海 ： 上海交通大学 ， 2019 . 荧光显微图像中微液滴自动检测方法研究 LI R F . Automatic Detection of Micro-droplet from Fluorescence Microscopic Images ［D］. Shanghai ： Shanghai Jiao Tong University ， 2019 . （in Chinese） Automatic Detection of Micro-droplet from Fluorescence Microscopic Images GUO X Y ， YU H Y ， ROSSETTI B ， et al . Clumped nuclei segmentation with adjacent point match and local shape-based intensity analysis in fluorescence microscopy images ［C］. 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society . 1821，2018 ， Honolulu， HI， USA . IEEE ， 2018 ： 3410 - 3413 . doi: 10.1109/embc.2018.8512961 http://dx.doi.org/10.1109/embc.2018.8512961 Clumped nuclei segmentation with adjacent point match and local shape-based intensity analysis in fluorescence microscopy images KOYUNCU C F ， CETIN-ATALAY R ， GUNDUZ-DEMIR C . Object-oriented segmentation of cell nuclei in fluorescence microscopy images ［J］. Cytometry Part A ， 2018 ， 93 （ 10 ）： 1019 - 1028 . doi: 10.1002/cyto.a.23594 http://dx.doi.org/10.1002/cyto.a.23594 Object-oriented segmentation of cell nuclei in fluorescence microscopy images 刘聪 ， 董文飞 ， 张涛 ， 等 . 微滴式数字PCR中低浓度荧光微滴分类 ［J］. 光学 精密工程 ， 2018 ， 26 （ 3 ）： 647 - 653 . doi: 10.3788/OPE.20182603.0647 http://dx.doi.org/10.3788/OPE.20182603.0647 微滴式数字PCR中低浓度荧光微滴分类 LIU C ， DONG W F ， ZHANG T ， et al . Identification of florescent droplets at low concentrations for droplet digital PCR ［J］. Opt。 Precision Eng 。， 2018 ， 26 （ 3 ）： 647 - 653 . （in Chinese） . doi: 10.3788/OPE.20182603.0647 http://dx.doi.org/10.3788/OPE.20182603.0647 Identification of florescent droplets at low concentrations for droplet digital PCR 刘聪 ， 董文飞 ， 蒋克明 ， 等 . 基于改进分水岭分割算法的致密荧光微滴识别 ［J］. 中国光学 ， 2019 ， 12 （ 4 ）： 783 - 790 . doi: 10.3788/CO.20191204.0783 http://dx.doi.org/10.3788/CO.20191204.0783 基于改进分水岭分割算法的致密荧光微滴识别 LIU C ， DONG W F ， JIANG K M ， et al . Recognition of dense fluorescent droplets using an improved watershed segmentation algorithm ［J］. Chinese Optics ， 2019 ， 12 （ 4 ）： 783 - 790 . （in Chinese） . doi: 10.3788/CO.20191204.0783 http://dx.doi.org/10.3788/CO.20191204.0783 Recognition of dense fluorescent droplets using an improved watershed segmentation algorithm 费健峻 . 基于形状分类的荧光显微图像中的视网膜细胞的分割与计数研究 ［D］. 苏州 ： 苏州大学 ， 2017 . 基于形状分类的荧光显微图像中的视网膜细胞的分割与计数研究 FEI J J . Segmentation and Counting of Retina Cells in Fluorescence Microscopic Image Based on Shape Classification ［D］. Suzhou ： Soochow University ， 2017 . （in Chinese） Segmentation and Counting of Retina Cells in Fluorescence Microscopic Image Based on Shape Classification ZHAO M D ， AN J ， LI H W ， et al . Segmentation and classification of two-channel C. elegans nucleus-labeled fluorescence images ［J］. BMC Bioinformatics ， 2017 ， 18 （ 1 ）： 412 . doi: 10.1186/s12859-017-1817-3 http://dx.doi.org/10.1186/s12859-017-1817-3 Segmentation and classification of two-channel C. elegans nucleus-labeled fluorescence images MATA G ， RADOJEVIĆ M ， FERNANDEZ-LOZANO C ， et al . Automated neuron detection in high-content fluorescence microscopy images using machine learning ［J］. Neuroinformatics ， 2019 ， 17 （ 2 ）： 253 - 269 . doi: 10.1007/s12021-018-9399-4 http://dx.doi.org/10.1007/s12021-018-9399-4 Automated neuron detection in high-content fluorescence microscopy images using machine learning KORFHAGE N ， MÜHLING M ， RINGSHANDL S ， et al . Detection and segmentation of morphologically complex eukaryotic cells in fluorescence microscopy images via feature pyramid fusion ［J］. PLoS Computational Biology ， 2020 ， 16 （ 9 ）： e1008179 . doi: 10.1371/journal.pcbi.1008179 http://dx.doi.org/10.1371/journal.pcbi.1008179 Detection and segmentation of morphologically complex eukaryotic cells in fluorescence microscopy images via feature pyramid fusion HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322 Mask R-CNN 朱天赟 ， 郑继红 ， 孙刘杰 ， 等 . 基于图像拼接的高通量数字PCR荧光基因芯片读取系统的设计 ［J］. 光学技术 ， 2019 ， 45 （ 1 ）： 107 - 111 . 基于图像拼接的高通量数字PCR荧光基因芯片读取系统的设计 ZHU T Y ， ZHENG J H ， SUN L J ， et al . Design of high throughput digital PCR fluorescence gene chip detection system based on image mosaic ［J］. Optical Technique ， 2019 ， 45 （ 1 ）： 107 - 111 . （in Chinese） Design of high throughput digital PCR fluorescence gene chip detection system based on image mosaic WANG F ， JIANG M Q ， QIAN C ， et al . Residual attention network for image classification ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . July 21-26， 2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 6450 - 6458 . doi: 10.1109/cvpr.2017.683 http://dx.doi.org/10.1109/cvpr.2017.683 Residual attention network for image classification CHU X ， YANG W ， OUYANG W L ， et al . Multi-context attention for human pose estimation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 5669 - 5678 . doi: 10.1109/cvpr.2017.601 http://dx.doi.org/10.1109/cvpr.2017.601 Multi-context attention for human pose estimation CHEN L ， ZHANG H W ， XIAO J ， et al . SCA-CNN： spatial and channel-wise attention in convolutional networks for image captioning ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 6298 - 6306 . doi: 10.1109/cvpr.2017.667 http://dx.doi.org/10.1109/cvpr.2017.667 SCA-CNN： spatial and channel-wise attention in convolutional networks for image captioning WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［J］. Springer ， Cham ， 2018 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1 CBAM： convolutional block attention module ROSSI L ， KARIMI A ， PRATI A . A novel region of interest extraction layer for instance segmentation ［C］. 25th International Conference on Pattern Recognition （ICPR）. 1015，2021 ， Milan， Italy. IEEE ， 2021 ： 2203 - 2209 . doi: 10.1109/icpr48806.2021.9412258 http://dx.doi.org/10.1109/icpr48806.2021.9412258 A novel region of interest extraction layer for instance segmentation ZHANG H Y ， WANG Y ， DAYOUB F ， et al . VarifocalNet： an IoU-aware dense object detector ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 8510 - 8519 . doi: 10.1109/cvpr46437.2021.00841 http://dx.doi.org/10.1109/cvpr46437.2021.00841 VarifocalNet： an IoU-aware dense object detector BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. 2020： arXiv ： 2004 .10934［cs.CV］. https：//arxiv.org/abs/2004.10934 https://arxiv.org/abs/2004.10934 YOLOv4： optimal speed and accuracy of object detection KROMP F ， FISCHER L ， BOZSAKY E ， et al . Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 7 ）： 1934 - 1949 . doi: 10.1109/tmi.2021.3069558 http://dx.doi.org/10.1109/tmi.2021.3069558 Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation 10.37188/OPE.20223008.0928 TN253 TP212.3 A 1004-924X（2022）08-0928-10 孙刘杰,刘丽,王文举.多特征融合高通量dPCR荧光图像识别[J].光学精密工程,2022,30(08):928-937. 孙刘杰,刘丽,王文举.多特征融合高通量dPCR荧光图像识别[J].光学精密工程,2022,30(08):928-937. SUN Liujie,LIU Li,WANG Wenju.Multi-feature fusion high-throughput dPCR fluorescence image recognition[J].Optics and Precision Engineering,2022,30(08):928-937. SUN Liujie,LIU Li,WANG Wenju.Multi-feature fusion high-throughput dPCR fluorescence image recognition[J].Optics and Precision Engineering,2022,30(08):928-937. 上海市科学技术委员会科研计划项目（No. 18060502500） 2021-05-17 2021-06-18 2022-04-25 2022-04-26 光学精密工程 8 30