Multi-feature fusion high-throughput dPCR fluorescence image recognition

Liujie SUN; Li LIU; Wenju WANG

doi:10.37188/OPE.20223008.0928

您当前的位置：

首页 >

文章列表页 >

Multi-feature fusion high-throughput dPCR fluorescence image recognition

Modern Applied Optics | 更新时间：2022-04-26

- Multi-feature fusion high-throughput dPCR fluorescence image recognition
- Optics and Precision Engineering Vol. 30, Issue 8, Pages: 928-937(2022)
- 作者机构：
  
  上海理工大学出版印刷与艺术设计学院，上海 200093
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223008.0928
  CLC： TN253;TP212.3
- Received：17 May 2021，
  
  Revised：18 June 2021，
  
  Published：25 April 2022
- 稿件说明：
移动端阅览
孙刘杰,刘丽,王文举.多特征融合高通量dPCR荧光图像识别[J].光学精密工程,2022,30(08):928-937.

SUN Liujie,LIU Li,WANG Wenju.Multi-feature fusion high-throughput dPCR fluorescence image recognition[J].Optics and Precision Engineering,2022,30(08):928-937.
孙刘杰,刘丽,王文举.多特征融合高通量dPCR荧光图像识别[J].光学精密工程,2022,30(08):928-937. DOI： 10.37188/OPE.20223008.0928.

SUN Liujie,LIU Li,WANG Wenju.Multi-feature fusion high-throughput dPCR fluorescence image recognition[J].Optics and Precision Engineering,2022,30(08):928-937. DOI： 10.37188/OPE.20223008.0928.

摘要

传统高通量dPCR荧光图像分析结果易因假阳性点与非特异性扩增而导致阳性点识别率较低，因而本文提出一种多特征融合高通量dPCR荧光图像识别方法（HDFINet），以提高阳性点识别准确性。首先，在特征融合部分引入自上而下结构，使得下层特征在顶层被更有效地利用。在自上而下结构中，使用通道注意力来分配荧光图像通道权重，并使用空间注意力来分配特征图中荧光图像像素相应权重，使得特征映射能够更好地响应荧光图像特征。然后，在RPN中使用自适应交并比IOU计算阳性点包围框置信度，减少阳性点信息丢失可能性。最后，ROI Align将荧光图像候选区域中阳性点特征重新固定尺寸后，输入至全连接层和全卷积层，进行类别与回归框回归，输出阳性点识别结果。本文提出的HDFINet网络具有较高识别率，可以有效地实现荧光图像阳性点识别，与YOLOv4、VF-Net、GROIE相比，本文方法综合指标F1最高，相比于经典的深度学习网络Mask R-CNN网络，本方法对阳性点识别真阳性率提高了1.13%，阳性预测值提高了0.36%，综合指标F1的值提高了0.75%。本文提出的HDFINet网络具有良好的识别性能，能够有效识别荧光图像阳性点，对其他荧光图像分析研究具有参考价值。

Abstract

The results of traditional high-throughput dPCR fluorescence image analysis are prone to low positive spot recognition rate due to false positive points and non-specific amplification. Therefore， in this paper， a multi-feature fusion high-throughput dPCR fluorescence image recognition method （HDFINet） is proposed to improve the accuracy of high-throughput dPCR fluorescence image recognition. Firstly， a up-bottom structure is introduced in the feature fusion part so that the lower layer features can be used more effectively in the top layer. In the up-bottom structure， channel attention is used to assign channel weight of fluorescent image， and spatial attention is used to assign corresponding weight of fluorescent image pixels in the feature map， so that the feature map can better respond to the feature of fluorescent image positive points. Then， the confidence of the bounding box of positive points was calculated by using the adaptive Intersection-over-Union （IOU） in RPN to reduce the possibility of loss of positive points information. Finally， ROI Align re-fixed the size of the features in the candidate areas of fluorescent images， and then input them to the full connection layer and fully convolution layer to perform category and regression box regression and output positive point recognition results. The experimental results show that the HDFINet network proposed in this paper has a high recognition rate and can effectively realize the recognition of positive points in fluorescent images. Compared with YOLOv4， VF-Net， and GROIE， the comprehensive index F1 of the method in this paper is the highest， compared with the classic deep learning Network Mask R-CNN network， this method increases the true positive rate of positive points by 1.13%， the positive predictive value by 0.36%， and the value of the comprehensive index F1 by 0.75%. The HDFINET network proposed in this paper has good recognition performance and can effectively identify positive spots in fluorescence images， which has reference value for other fluorescence image analysis and research.

关键词

Keywords

references

JONES M ， WILLIAMS J ， GÄRTNER K ， et al . Low copy target detection by droplet digital PCR through application of a novel open access bioinformatic pipeline， ‘definetherain’ ［J］. Journal of Virological Methods ， 2014 ， 202 ： 46 - 53 . doi: 10.1016/j.jviromet.2014.02.020 http://dx.doi.org/10.1016/j.jviromet.2014.02.020

JIANG Y F ， WANG H F ， HAO S J ， et al . Digital PCR is a sensitive new technique for SARS-CoV-2 detection in clinical applications ［J］. Clinica Chimica Acta ， 2020 ， 511 ： 346 - 351 . doi: 10.1016/j.cca.2020.10.032 http://dx.doi.org/10.1016/j.cca.2020.10.032

DONG L H ， ZHOU J B ， NIU C Y ， et al . Highly accurate and sensitive diagnostic detection of SARS-CoV-2 by digital PCR ［J］. Talanta ， 2021 ， 224 ： 121726 . doi: 10.1016/j.talanta.2020.121726 http://dx.doi.org/10.1016/j.talanta.2020.121726

ZHANG Z W ， LI P W ， HU X F ， et al . Microarray technology for major chemical contaminants analysis in food： current status and prospects ［J］. Sensors ， 2012 ， 12 （ 7 ）： 9234 - 9252 . doi: 10.3390/s120709234 http://dx.doi.org/10.3390/s120709234

NISHI K ， ISOBE S I ， ZHU Y ， et al . Fluorescence-based bioassays for the detection and evaluation of food materials ［J］. Sensors （Basel， Switzerland）， 2015 ， 15 （ 10 ）： 25831 - 25867 . doi: 10.3390/s151025831 http://dx.doi.org/10.3390/s151025831

HANDSCHUH L ， KAŹMIERCZAK M ， MILEWSKI M ， et al . Gene expression profiling of acute myeloid leukemia samples from adult patients with AML-M1 and-M2 through boutique microarrays， real-time PCR and droplet digital PCR ［J］. International Journal of Oncology ， 2017 ： 656 - 678 .

CHATER-DIEHL E J ， LAUFER B I ， CASTELLANI C A ， et al . Alteration of gene expression， DNA methylation， and histone methylation in free radical scavenging networks in adult mouse hippocampus following fetal alcohol exposure ［J］. PLoS One ， 2016 ， 11 （ 5 ）： e0154836 . doi: 10.1371/journal.pone.0154836 http://dx.doi.org/10.1371/journal.pone.0154836

HALL S M ， COULTER S J ， KNUDSEN G A ， et al . Gene expression changes in immune response pathways following oral administration of tetrabromobisphenol A （TBBPA） in female Wistar Han rats ［J］. Toxicology Letters ， 2017 ， 272 ： 68 - 74 . doi: 10.1016/j.toxlet.2017.03.008 http://dx.doi.org/10.1016/j.toxlet.2017.03.008

ADACHI T ， NAKANISHI M ， OTSUKA Y ， et al . Plasma microRNA 499 as a biomarker of acute myocardial infarction ［J］. Clinical Chemistry ， 2010 ， 56 （ 7 ）： 1183 - 1185 . doi: 10.1373/clinchem.2010.144121 http://dx.doi.org/10.1373/clinchem.2010.144121

YAN I K ， WANG X ， ASMANN Y W ， et al . Circulating extracellular RNA markers of liver regeneration ［J］. PLoS One ， 2016 ， 11 （ 7 ）： e0155888 . doi: 10.1371/journal.pone.0155888 http://dx.doi.org/10.1371/journal.pone.0155888

徐静，汪磊，赵俊，等 . 用于数字等温扩增系统的荧光图像分析技术［J］. 中国医学物理学杂志， 2020 ， 37 （ 10 ）： 1255 - 1261 . doi: 10.3969/j.issn.1005-202X.2020.10.008 http://dx.doi.org/10.3969/j.issn.1005-202X.2020.10.008

XU J ， WANG L ， ZHAO J ， et al . Fluorescence image analysis technique for digital isothermal amplification system ［J］. Chinese Journal of Medical Physics ， 2020 ， 37 （ 10 ）： 1255 - 1261 . （in Chinese） . doi: 10.3969/j.issn.1005-202X.2020.10.008 http://dx.doi.org/10.3969/j.issn.1005-202X.2020.10.008

李如峰 . 荧光显微图像中微液滴自动检测方法研究［D］. 上海：上海交通大学， 2019 .

LI R F . Automatic Detection of Micro-droplet from Fluorescence Microscopic Images ［D］. Shanghai ： Shanghai Jiao Tong University ， 2019 . （in Chinese）

GUO X Y ， YU H Y ， ROSSETTI B ， et al . Clumped nuclei segmentation with adjacent point match and local shape-based intensity analysis in fluorescence microscopy images ［C］. 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society . 1821，2018 ， Honolulu， HI， USA . IEEE ， 2018 ： 3410 - 3413 . doi: 10.1109/embc.2018.8512961 http://dx.doi.org/10.1109/embc.2018.8512961

KOYUNCU C F ， CETIN-ATALAY R ， GUNDUZ-DEMIR C . Object-oriented segmentation of cell nuclei in fluorescence microscopy images ［J］. Cytometry Part A ， 2018 ， 93 （ 10 ）： 1019 - 1028 . doi: 10.1002/cyto.a.23594 http://dx.doi.org/10.1002/cyto.a.23594

刘聪，董文飞，张涛，等 . 微滴式数字PCR中低浓度荧光微滴分类［J］. 光学精密工程， 2018 ， 26 （ 3 ）： 647 - 653 . doi: 10.3788/OPE.20182603.0647 http://dx.doi.org/10.3788/OPE.20182603.0647

LIU C ， DONG W F ， ZHANG T ， et al . Identification of florescent droplets at low concentrations for droplet digital PCR ［J］. Opt。 Precision Eng 。， 2018 ， 26 （ 3 ）： 647 - 653 . （in Chinese） . doi: 10.3788/OPE.20182603.0647 http://dx.doi.org/10.3788/OPE.20182603.0647

刘聪，董文飞，蒋克明，等 . 基于改进分水岭分割算法的致密荧光微滴识别［J］. 中国光学， 2019 ， 12 （ 4 ）： 783 - 790 . doi: 10.3788/CO.20191204.0783 http://dx.doi.org/10.3788/CO.20191204.0783

LIU C ， DONG W F ， JIANG K M ， et al . Recognition of dense fluorescent droplets using an improved watershed segmentation algorithm ［J］. Chinese Optics ， 2019 ， 12 （ 4 ）： 783 - 790 . （in Chinese） . doi: 10.3788/CO.20191204.0783 http://dx.doi.org/10.3788/CO.20191204.0783

费健峻 . 基于形状分类的荧光显微图像中的视网膜细胞的分割与计数研究［D］. 苏州：苏州大学， 2017 .

FEI J J . Segmentation and Counting of Retina Cells in Fluorescence Microscopic Image Based on Shape Classification ［D］. Suzhou ： Soochow University ， 2017 . （in Chinese）

ZHAO M D ， AN J ， LI H W ， et al . Segmentation and classification of two-channel C. elegans nucleus-labeled fluorescence images ［J］. BMC Bioinformatics ， 2017 ， 18 （ 1 ）： 412 . doi: 10.1186/s12859-017-1817-3 http://dx.doi.org/10.1186/s12859-017-1817-3

MATA G ， RADOJEVIĆ M ， FERNANDEZ-LOZANO C ， et al . Automated neuron detection in high-content fluorescence microscopy images using machine learning ［J］. Neuroinformatics ， 2019 ， 17 （ 2 ）： 253 - 269 . doi: 10.1007/s12021-018-9399-4 http://dx.doi.org/10.1007/s12021-018-9399-4

KORFHAGE N ， MÜHLING M ， RINGSHANDL S ， et al . Detection and segmentation of morphologically complex eukaryotic cells in fluorescence microscopy images via feature pyramid fusion ［J］. PLoS Computational Biology ， 2020 ， 16 （ 9 ）： e1008179 . doi: 10.1371/journal.pcbi.1008179 http://dx.doi.org/10.1371/journal.pcbi.1008179

HE K M ， GKIOXARI G ， DOLLÁR P ， et al . Mask R-CNN ［C］. 2017 IEEE International Conference on Computer Vision . 2229，2017 ， Venice， Italy . IEEE ， 2017 ： 2980 - 2988 . doi: 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322

朱天赟，郑继红，孙刘杰，等 . 基于图像拼接的高通量数字PCR荧光基因芯片读取系统的设计［J］. 光学技术， 2019 ， 45 （ 1 ）： 107 - 111 .

ZHU T Y ， ZHENG J H ， SUN L J ， et al . Design of high throughput digital PCR fluorescence gene chip detection system based on image mosaic ［J］. Optical Technique ， 2019 ， 45 （ 1 ）： 107 - 111 . （in Chinese）

WANG F ， JIANG M Q ， QIAN C ， et al . Residual attention network for image classification ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . July 21-26， 2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 6450 - 6458 . doi: 10.1109/cvpr.2017.683 http://dx.doi.org/10.1109/cvpr.2017.683

CHU X ， YANG W ， OUYANG W L ， et al . Multi-context attention for human pose estimation ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 5669 - 5678 . doi: 10.1109/cvpr.2017.601 http://dx.doi.org/10.1109/cvpr.2017.601

CHEN L ， ZHANG H W ， XIAO J ， et al . SCA-CNN： spatial and channel-wise attention in convolutional networks for image captioning ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 6298 - 6306 . doi: 10.1109/cvpr.2017.667 http://dx.doi.org/10.1109/cvpr.2017.667

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［J］. Springer ， Cham ， 2018 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

ROSSI L ， KARIMI A ， PRATI A . A novel region of interest extraction layer for instance segmentation ［C］. 25th International Conference on Pattern Recognition （ICPR）. 1015，2021 ， Milan， Italy. IEEE ， 2021 ： 2203 - 2209 . doi: 10.1109/icpr48806.2021.9412258 http://dx.doi.org/10.1109/icpr48806.2021.9412258

ZHANG H Y ， WANG Y ， DAYOUB F ， et al . VarifocalNet： an IoU-aware dense object detector ［C］. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2025，2021 ， Nashville， TN， USA. IEEE ， 2021 ： 8510 - 8519 . doi: 10.1109/cvpr46437.2021.00841 http://dx.doi.org/10.1109/cvpr46437.2021.00841

BOCHKOVSKIY A ， WANG C Y ， LIAO H Y M . YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. 2020： arXiv ： 2004 .10934［cs.CV］. https：//arxiv.org/abs/2004.10934 https://arxiv.org/abs/2004.10934

KROMP F ， FISCHER L ， BOZSAKY E ， et al . Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 7 ）： 1934 - 1949 . doi: 10.1109/tmi.2021.3069558 http://dx.doi.org/10.1109/tmi.2021.3069558

Views

616

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Underwater image enhancement based on multi-branch residual attention network

Cross-modality image matching algorithm based on policy gradient and pseudo-twin network

Shape adaptive feature aggregation network for point cloud classification and segmentation

Real-time super-resolution for infrared dynamic object video based on airborne platform

Multimode composite guidance data fusion method and its experimental validation

Related Author

CHENG Zhuming

LI Jiaxuan

HUANG San'ao

HAN Lichao

WANG Peizhen

ZHANG Jian

LIANG Ao

HUA Haiyang

Related Institution

School of Electrical and Information Engineering， Anhui University of Technology， Maanshan

Key Laboratory of Opto-Electronic Information Processing，Chinese Academy of Sciences

Shenyang Institute of Automation， Chinese Academy of Sciences

University of Chinese Academy of Sciences

Key Laboratory of Optoelectronic Technology and System， Ministry of Education， Chongqing University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰