Lens-less imaging via score-based generative model

Chunhua WU; Hong PENG; Qiegen LIU; Wenbo WAN; Yuhao WANG

doi:10.37188/OPE.20223018.2280

您当前的位置：

首页 >

文章列表页 >

Lens-less imaging via score-based generative model

Information Sciences | 更新时间：2022-09-26

- Lens-less imaging via score-based generative model
- Optics and Precision Engineering Vol. 30, Issue 18, Pages: 2280-2294(2022)
- 作者机构：
  
  南昌大学信息工程学院，江西南昌 330031
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223018.2280
  CLC： TP751
- Received：25 March 2022，
  
  Revised：07 June 2022，
  
  Published：25 September 2022
- 稿件说明：
移动端阅览
伍春花,彭鸿,刘且根等.基于分数匹配生成模型的无透镜成像方法[J].光学精密工程,2022,30(18):2280-2294.

WU Chunhua,PENG Hong,LIU Qiegen,et al.Lens-less imaging via score-based generative model[J].Optics and Precision Engineering,2022,30(18):2280-2294.
伍春花,彭鸿,刘且根等.基于分数匹配生成模型的无透镜成像方法[J].光学精密工程,2022,30(18):2280-2294. DOI： 10.37188/OPE.20223018.2280.

WU Chunhua,PENG Hong,LIU Qiegen,et al.Lens-less imaging via score-based generative model[J].Optics and Precision Engineering,2022,30(18):2280-2294. DOI： 10.37188/OPE.20223018.2280.

摘要

无透镜成像受到同轴全息图中孪生像噪声的影响，一直面临着重建信噪比差和成像分辨率低的问题。针对该问题，本文提出一种基于分数匹配生成模型的无透镜成像方法。在训练阶段，通过连续随机微分方程（Stochastic Differential Equation， SDE）缓慢添加高斯噪声扰动数据分布，然后训练具有去噪分数匹配的连续时间相关的分数函数，用于求解反向SDE生成目标样本数据。在测试阶段，使用单张菲涅尔波带片作为掩膜，在非相干光照明下实现无透镜编码调制，然后使用预测-校正的方法在数值求解器SDE和数据保真项步骤之间轮换更新进行图像重建。在LSUN-bedroom和LSUN-church数据集上的验证结果表明，提出的算法能够有效消除孪生像噪声，峰值信噪比和结构相似性分别可达25.23 dB和0.65。与传统的基于反向传播和基于压缩感知的无透镜成像结果相比，峰值信噪比分别提高17.49 dB、7.16 dB，结构相似度分别提高0.42、0.35，从而实现图像重建质量的有效提升。

Abstract

Lens-less imaging is affected by twinning noise occurring in in-line holograms， and the reconstructed results continuously face poor reconstruction signal-to-noise ratio and low imaging resolution. This study proposes a lens-less imaging via a score-based generation model. In the training phase， the proposed model perturbs data distribution by gradually adding Gaussian noise by using a continuous stochastic differential equation （SDE）. A continuous time-dependent score-based function with denoising score matching is then trained and used to solve the inverse SDE required to generate object sample data. In the testing phase， a single Fresnel zone aperture is used as a mask to achieve lens-less encoding modulation under incoherent illumination. The prediction-correction method is then used to alternate iteration steps between the numerical SDE solver and data-fidelity term to achieve lens-less imaging reconstruction. Validation results on LSUN-bedroom and LSUN-church datasets show that the proposed algorithm can effectively eliminate twin image noise， and the peak signal-to-noise ratio （PSNR） and structural similarity （SSIM） of the reconstruction results can reach 25.23 dB and 0.65， respectively. The PSNR values of the reconstruction results are 17.49 dB and 7.16 dB， which is higher than that of lens-less imaging algorithms based on traditional back propagation or compressed sensing， respectively. In addition， the corresponding SSIM values were 0.42 and 0.35 higher， respectively. Therefore， the reconstruction quality of the lens-less imaging is effectively improved.

关键词

Keywords

references

SAHOO S K ， TANG D L ， DANG C . Single-shot multispectral imaging with a monochromatic camera ［J］. Optica ， 2017 ， 4 （ 10 ）： 1209 - 1213 . doi: 10.1364/optica.4.001209 http://dx.doi.org/10.1364/optica.4.001209

BOOMINATHAN V ， ADAMS J K ， ROBINSON J T ， et al . PhlatCam： designed phase-mask based thin lensless camera ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 7 ）： 1618 - 1629 . doi: 10.1109/tpami.2020.2987489 http://dx.doi.org/10.1109/tpami.2020.2987489

王雪，刘虹遥，路鑫超，等 . 无透镜全息显微细胞成像［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1644 - 1650 .

WANG X ， LIU H Y ， LU X C ， et al . Cell imaging by holographic lens-free microscopy ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1644 - 1650 . （in Chinese）

CHAPMAN H N ， NUGENT K A . Coherent lensless X-ray imaging ［J］. Nature Photonics ， 2010 ， 4 （ 12 ）： 833 - 839 . doi: 10.1038/nphoton.2010.240 http://dx.doi.org/10.1038/nphoton.2010.240

WITTE S ， TENNER V T ， NOOM D W ， et al . Lensless diffractive imaging with ultra-broadband table-top sources： from infrared to extreme-ultraviolet wavelengths ［J］. Light： Science & Applications ， 2014 ， 3 （ 3 ）： e163 . doi: 10.1038/lsa.2014.44 http://dx.doi.org/10.1038/lsa.2014.44

BISHARA W ， SU T W ， COSKUN A F ， et al . Lensfree on-chip microscopy over a wide field-of-view using pixel super-resolution ［J］. Optics Express ， 2010 ， 18 （ 11 ）： 11181 - 11191 . doi: 10.1364/oe.18.011181 http://dx.doi.org/10.1364/oe.18.011181

GREENBAUM A ， LUO W ， SU T W ， et al . Imaging without lenses： achievements and remaining challenges of wide-field on-chip microscopy ［J］. Nature Methods ， 2012 ， 9 （ 9 ）： 889 - 895 . doi: 10.1038/nmeth.2114 http://dx.doi.org/10.1038/nmeth.2114

MERTZ L ， YOUNG N O . Fresnel transformations of images ［J］. SPIE milestone series ms ， 1996 ， 128 ： 44 - 49 .

万玉红，刘超，满天龙，等 . 非相干全息术成像特性及研究进展［J］. 激光与光电子学进展， 2021 ， 58 （ 18 ）： 1 - 24 .

WAN Y H ， LIU C ， MAN T L ， et al . Incoherent correlation digital holography： principle， development， and applications ［J］. Laster & Optoelectronics Progress ， 2021 ， 58 （ 18 ）： 1 - 24 . （in Chinese）

LATYCHEVSKAIA T ， FINK H W . Solution to the twin image problem in holography ［J］. Physical Review Letters ， 2007 ， 98 （ 23 ）： 233901 . doi: 10.1103/physrevlett.98.233901 http://dx.doi.org/10.1103/physrevlett.98.233901

HENNELLY B ， KELLY D ， PANDEY N ， et al . Review of twin reduction and twin removal techniques in holography ［J］. in Procoodings of CIICT ， 2009 ： 241 - 245 .

DENIS L ， FOURNIER C ， FOURNEL T ， et al . Twin-image noise reduction by phase retrieval in in-line digital holography ［C］. Optics and Photonics 2005 . Proc SPIE 5914， Wavelets XI， San Diego， California， USA . 2005， 5914 ： 148 - 161 . doi: 10.1117/12.617405 http://dx.doi.org/10.1117/12.617405

SHIMANO T ， NAKAMURA Y ， TAJIMA K ， et al . Lensless light-field imaging with Fresnel zone aperture： quasi-coherent coding ［J］. Applied Optics ， 2018 ， 57 （ 11 ）： 2841 - 2850 . doi: 10.1364/ao.57.002841 http://dx.doi.org/10.1364/ao.57.002841

SAO M ， NAKAMURA Y ， TAJIMA K ， et al . Lensless close-up imaging with Fresnel zone aperture ［J］. Japanese Journal of Applied Physics ， 2018 ， 57 （ 9S1 ）： 09 SB05. doi: 10.7567/jjap.57.09sb05 http://dx.doi.org/10.7567/jjap.57.09sb05

BRADY D J ， CHOI K ， MARKS D L ， et al . Compressive holography ［J］. Optics Express ， 2009 ， 17 （ 15 ）： 13040 - 13049 . doi: 10.1364/oe.17.013040 http://dx.doi.org/10.1364/oe.17.013040

WU J ， ZHANG H ， ZHANG W H ， et al . Single-shot lensless imaging with Fresnel zone aperture and incoherent illumination ［J］. Light： Science & Applications ， 2020 ， 9 ： 53 . doi: 10.1038/s41377-020-0289-9 http://dx.doi.org/10.1038/s41377-020-0289-9

HYVARINEN A ， DAYAN P . Estimation of non-normalized statistical models by score matching ［J］. Journal of Machine Learning Research ， 2005 ， 6 （ 4 ）.

SONG Y ， ERMON S . Generative modeling by estimating gradients of the data distribution ［J］. Advances in Neural Information Processing Systems ， 2019 ， 32 .

SONG Y ， GARG S ， SHI J ， et al . Sliced score matching： a scalable approach to density and score estimation ［C］. Uncertainty in Artificial Intelligence. PMLR ， 2020 ： 574 - 584 .

SOHL-DICKSTEIN J ， WWISS E ， MAHESWARANATHAN N ， et al . Deep unsupervised learning using nonequilibrium thermodynamics ［C］. International Conference on Machine Learning. PMLR ， 2015 ： 2256 - 2265 .

HO J ， JAIN A ， ABBEEL P . Denoising diffusion probabilistic models ［J］. Advances in Neural Information Processing Systems ， 2020 ， 33 ： 6840 - 6851 .

SONG Y ， SOHL-DICKSTEIN J ， KINGMA D P ， et al . Score-based generative modeling through stochastic differential equations ［EB/OL］. 2020： arXiv ： 2011 .13456［cs.LG］. https：//arxiv.org/abs/2011.13456 https://arxiv.org/abs/2011.13456

NICHOL A Q ， DHARIWAL P . Improved denoising diffusion probabilistic models ［C］. International Conference on Machine Learning. PMLR ， 2021 ： 8162 - 8171 .

DHARIWAL P ， NICHOL A . Diffusion models beat GANs on image synthesis ［J］. Advances in Neural Information Processing Systems ， 2021 ， 34 ： 8780 - 8794 .

ANDERSON B D O . Reverse-time diffusion equation models ［J］. Stochastic Processes and Their Applications ， 1982 ， 12 （ 3 ）： 313 - 326 . doi: 10.1016/0304-4149(82)90051-5 http://dx.doi.org/10.1016/0304-4149(82)90051-5

VINCENT P . A connection between score matching and denoising autoencoders ［J］. Neural Computation ， 2011 ， 23 （ 7 ）： 1661 - 1674 . doi: 10.1162/neco_a_00142 http://dx.doi.org/10.1162/neco_a_00142

BOYD S ， PARIKH N ， CHU E ， et al .. Distributed optimization and statistical learning via the alternating direction method of multipliers ［J］. Foundations and Trends ® in Machine learning ， 2011 ， 3 （ 1 ）： 1 - 122 .

SAMSONOV A A ， KHOLMOVSKI E G ， PARKER D L ， et al . POCSENSE： POCS-based reconstruction for sensitivity encoded magnetic resonance imaging ［J］. Magnetic Resonance in Medicine ， 2004 ， 52 （ 6 ）： 1397 - 1406 . doi: 10.1002/mrm.20285 http://dx.doi.org/10.1002/mrm.20285

PARISI G . Correlation functions and computer simulations ［J］. Nuclear Physics B ， 1981 ， 180 （ 3 ）： 378 - 384 . doi: 10.1016/0550-3213(81)90056-0 http://dx.doi.org/10.1016/0550-3213(81)90056-0

QUAN C ， ZHOU J J ， ZHU Y Z ， et al . Homotopic gradients of generative density priors for MR image reconstruction ［J］. IEEE Transactions on Medical Imaging ， 2021 ， 40 （ 12 ）： 3265 - 3278 . doi: 10.1109/tmi.2021.3081677 http://dx.doi.org/10.1109/tmi.2021.3081677

HE Z N ， ZHANG Y K ， GUAN Y ， et al . Iterative reconstruction for low-dose CT using deep gradient priors of generative model ［J］. IEEE Transactions on Radiation and Plasma Medical Sciences ， 2022 ， 6 （ 7 ）： 741 - 754 . doi: 10.1109/trpms.2022.3148373 http://dx.doi.org/10.1109/trpms.2022.3148373

SONG J ， MENG C ， ERMON S . Denoising diffusion implicit models ［J］. arXiv preprint arXiv ： 2010.02502 ， 2020 .

Views

534

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Image reconstruction based on deep compressive sensing combined with global and local features

Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network

Skull identification based on least square canonical correlation analysis

CBCT image reconstruction using a mixed Poisson-Gaussian maximum likelihood function

X-ray luminescence computed tomography based on improved spectral projected gradient algorithm

Related Author

WANG Shanshan

ZHOU Yujie

XU Qianfeng

ZHONG Yuanhong

Wenfang SUN

Fan HE

Suina MA

Beibei SONG

Related Institution

Institute of Physical Science and Information Technology， Anhui University

School of Microelectronics and Communication Engineering， Chongqing University

School of Aerospace Science and Technology， Xidian University

School of Information Engineering， Chang'an University

College of Information Science and Technology， Beijing Normal University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰