End-to-end co-design of optics and image processing and its applications

DUN Xiong; ZHANG Jian; FENG Shiqi; LUO Hong; WANG Zhanshan; CHENG Xinbin

doi:10.37188/OPE.20223021.2827

您当前的位置：

首页 >

文章列表页 >

End-to-end co-design of optics and image processing and its applications

更新时间：2026-09-12

- End-to-end co-design of optics and image processing and its applications
- Optics and Precision Engineering Vol. 30, Issue 21, Pages: 2827-2838(2022)
- 作者机构：
  
  同济大学物理科学与工程学院精密光学工程技术研究所，先进微结构材料教育部重点实验室，上海市数字光学前沿科学研究基地，上海市全光谱高性能光学薄膜器件与应用专业技术服务平台，上海 200092
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20223021.2827
  CLC： O439;TP751
- Received：16 July 2022，
  
  Revised：2022-08-20，
  
  Published：10 November 2022
- 稿件说明：
移动端阅览
顿雄,张健,冯诗淇等.光学系统与图像处理端到端协同设计及其应用[J].光学精密工程,2022,30(21):2827-2838.

DUN Xiong,ZHANG Jian,FENG Shiqi,et al.End-to-end co-design of optics and image processing and its applications[J].Optics and Precision Engineering,2022,30(21):2827-2838.
顿雄,张健,冯诗淇等.光学系统与图像处理端到端协同设计及其应用[J].光学精密工程,2022,30(21):2827-2838. DOI： 10.37188/OPE.20223021.2827.

DUN Xiong,ZHANG Jian,FENG Shiqi,et al.End-to-end co-design of optics and image processing and its applications[J].Optics and Precision Engineering,2022,30(21):2827-2838. DOI： 10.37188/OPE.20223021.2827.

摘要

计算成像是一种通过联合光学系统和图像处理来实现特定成像功能的新兴研究领域，长期以来，计算成像中的光学与算法联合都采取的是顺序设计模式，即光学系统与图像处理各自分开设计，但这样难以全面发挥二者协同的优势。近年来，随着深度学习技术的飞速发展，基于深度学习架构的光学系统与图像处理算法端到端协同设计方法开启了解决这一问题的大门。一方面，端到端协同设计通过全面探索整个解空间，可以实现光学与图像处理的自动最佳协同；另一方面，端到端协同设计更使得研制基于任务的最优成像系统成为可能。本文首先介绍了基于光学系统与图像处理端到端协同设计框架的进展，然后介绍了我们基于这一框架在平面透镜的宽谱成像、平面透镜的大视场成像、大景深成像、超分辨成像和快照式光谱成像方面的研究进展。

Abstract

Computational imaging is an emerging research field that combines optical systems and image processing to achieve specific imaging features. For a long time， this kind of combination in computational imaging has adopted a sequential design mode， that is， the optical system and image processing are designed separately， making it difficult to exploit the synergistic advantages of both entirely. With the rapid development of deep learning， the end-to-end co-design method of optics and image processing algorithms based on deep learning architecture has opened the door to solving this problem. On the one hand， end-to-end co-design can realise the automatic optimal collaboration of optics and image processing by comprehensively exploring the entire solution space. On the other hand， end-to-end design makes it possible to develop specific optical imaging systems. In this paper， we review recent advances in end-to-end co-design of optics and image processing， including full-colour imaging of flat lenses， large field of view imaging， extended depth of field imaging， and super-resolution imaging， and snapshot spectral imaging.

关键词

Keywords

references

左超，陈钱 . 计算光学成像：何来，何处，何去，何从？［J］. 红外与激光工程， 2022 ， 51 （ 2 ）： 158 - 338 . doi: 10.3788/IRLA20220110 http://dx.doi.org/10.3788/IRLA20220110

ZUO CH ， CHEN Q . Computational optical imaging： an overview ［J］. Infrared and Laser Engineering ， 2022 ， 51 （ 2 ）： 158 - 338 . （in Chinese） . doi: 10.3788/IRLA20220110 http://dx.doi.org/10.3788/IRLA20220110

LEVOY M . Light fields and computational imaging ［J］. Computer ， 2006 ， 39 （ 8 ）： 46 - 55 . doi: 10.1109/mc.2006.270 http://dx.doi.org/10.1109/mc.2006.270

SUNG H Y ， CHANG C W . Method for designing computational optical imaging system ： US8331712 ［P］. 2012-12-11 .

MAIT J N ， EULISS G W ， ATHALE R A . Computational imaging ［J］. Advances in Optics and Photonics ， 2018 ， 10 （ 2 ）： 409 - 483 . doi: 10.1364/aop.10.000409 http://dx.doi.org/10.1364/aop.10.000409

SITZMANN V ， DIAMOND S ， PENG Y F ， et al . End-to-end optimization of optics and image processing for achromatic extended depth of field and super-resolution imaging ［J］. ACM Transactions on Graphics ， 2018 ， 37 （ 4 ）： 114 . doi: 10.1145/3197517.3201333 http://dx.doi.org/10.1145/3197517.3201333

DUN X ， IKOMA H ， WETZSTEIN G ， et al . Learned rotationally symmetric diffractive achromat for full-spectrum computational imaging ［J］. Optica ， 2020 ， 7 （ 8 ）： 913 - 922 . doi: 10.1364/optica.394413 http://dx.doi.org/10.1364/optica.394413

PENG Y F ， SUN Q L ， DUN X ， et al . Learned large field-of-view imaging with thin-plate optics ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 6 ）： 219 . doi: 10.1145/3355089.3356526 http://dx.doi.org/10.1145/3355089.3356526

JEON D S ， BAEK S H ， YI S ， et al . Compact snapshot hyperspectral imaging with diffracted rotation ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 4 ）： 117 . doi: 10.1145/3306346.3322946 http://dx.doi.org/10.1145/3306346.3322946

SUN Q L ， ZHANG J ， DUN X ， et al . End-to-end learned， optically coded super-resolution SPAD camera ［J］. ACM Transactions on Graphics ， 2020 ， 39 （ 2 ）： 9 . doi: 10.1145/3372261 http://dx.doi.org/10.1145/3372261

TSENG E ， COLBURN S ， WHITEHEAD J ， et al . Neural nano-optics for high-quality thin lens imaging ［J］. Nature Communications ， 2021 ， 12 ： 6493 . doi: 10.1038/s41467-021-26443-0 http://dx.doi.org/10.1038/s41467-021-26443-0

LÉVÊQUE O ， KULCSÁR C ， LEE A ， et al . Co-designed annular binary phase masks for depth-of-field extension in single-molecule localization microscopy ［J］. Optics Express ， 2020 ， 28 （ 22 ）： 32426 - 32446 . doi: 10.1364/oe.402752 http://dx.doi.org/10.1364/oe.402752

JIN L B ， TANG Y B ， WU Y C ， et al . Deep learning extended depth-of-field microscope for fast and slide-free histology ［J］. Proceedings of the National Academy of Sciences of the United States of America ， 2020 ， 117 （ 52 ）： 33051 - 33060 . doi: 10.1073/pnas.2013571117 http://dx.doi.org/10.1073/pnas.2013571117

LIU Y K ， ZHANG C Y ， KOU T D ， et al . End-to-end computational optics with a singlet lens for large depth-of-field imaging ［J］. Optics Express ， 2021 ， 29 （ 18 ）： 28530 - 28548 . doi: 10.1364/oe.433067 http://dx.doi.org/10.1364/oe.433067

BANERJI S ， MEEM M ， MAJUMDER A ， et al . Extreme-depth-of-focus imaging with a flat lens ［J］. Optica ， 2020 ， 7 （ 3 ）： 214 - 217 . doi: 10.1364/optica.384164 http://dx.doi.org/10.1364/optica.384164

LUO Y ， MENGU D ， YARDIMCI N T ， et al . Design of task-specific optical systems using broadband diffractive neural networks ［J］. Light： Science & Applications ， 2019 ， 8 ： 112 . doi: 10.1038/s41377-019-0223-1 http://dx.doi.org/10.1038/s41377-019-0223-1

SONG H Y ， MA Y G ， HAN Y B ， et al . Deep-learned broadband encoding stochastic filters for computational spectroscopic instruments ［J］. Advanced Theory and Simulations ， 2021 ， 4 （ 3 ）： 2000299 . doi: 10.1002/adts.202000299 http://dx.doi.org/10.1002/adts.202000299

CHANG J L ， WETZSTEIN G . Deep optics for monocular depth estimation and 3D object detection ［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul ， Korea （South） . IEEE ， 2019 ： 10192 - 10201 . doi: 10.1109/iccv.2019.01029 http://dx.doi.org/10.1109/iccv.2019.01029

NEHME E ， FREEDMAN D ， GORDON R ， et al . DeepSTORM3D： dense 3D localization microscopy and PSF design by deep learning ［J］. Nature Methods ， 2020 ， 17 （ 7 ）： 734 - 740 . doi: 10.1038/s41592-020-0853-5 http://dx.doi.org/10.1038/s41592-020-0853-5

NEHME E ， FERDMAN B ， WEISS L E ， et al . Learning an optimal PSF-pair for ultra-dense 3D localization microscopy ［EB/OL］. 2020： arXiv ： 2009 . 14303 . https：//arxiv.org/abs/2009.14303 https://arxiv.org/abs/2009.14303 . doi: 10.1038/s41592-020-0853-5 http://dx.doi.org/10.1038/s41592-020-0853-5

SUN Q L ， TSENG E ， FU Q ， et al . Learning rank-1 diffractive optics for single-shot high dynamic range imaging ［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle ， WA ， USA . IEEE ， 2020 ： 1383 - 1393 . doi: 10.1109/cvpr42600.2020.00146 http://dx.doi.org/10.1109/cvpr42600.2020.00146

MARTEL J N P ， MÜLLER L K ， CAREY S J ， et al . Neural sensors： learning pixel exposures for HDR imaging and video compressive sensing with programmable sensors ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 7 ）： 1642 - 1653 . doi: 10.1109/tpami.2020.2986944 http://dx.doi.org/10.1109/tpami.2020.2986944

SUN Q L ， WANG C L ， FU Q ， et al . End-to-end complex lens design with differentiate ray tracing ［J］. ACM Transactions on Graphics ， 2021 ， 40 （ 4 ）： 71 . doi: 10.1145/3450626.3459674 http://dx.doi.org/10.1145/3450626.3459674

VOLLMER M ， MÖLLMANN K P . Infrared Thermal Imaging： Fundamentals， Research and Applications ［M］. Weinheim， Germany ： Wiley-VCH Verlag GmbH & Co. KGaA ， 2017 . doi: 10.1002/9783527693306 http://dx.doi.org/10.1002/9783527693306

YANNY K ， MONAKHOVA K ， SHUAI R W ， et al . Deep learning for fast spatially varying deconvolution ［J］. Optica ， 2022 ， 9 （ 1 ）： 96 - 99 . doi: 10.1364/optica.442438 http://dx.doi.org/10.1364/optica.442438

MONAKHOVA K ， YURTSEVER J ， KUO G ， et al . Learned reconstructions for practical mask-based lensless imaging ［J］. Optics Express ， 2019 ， 27 （ 20 ）： 28075 - 28090 . doi: 10.1364/oe.27.028075 http://dx.doi.org/10.1364/oe.27.028075

BANERJI S ， MEEM M ， MAJUMDER A ， et al . Imaging with flat optics： metalenses or diffractive lenses？［J］. Optica ， 2019 ， 6 （ 6 ）： 805 - 810 . doi: 10.1364/optica.6.000805 http://dx.doi.org/10.1364/optica.6.000805

MEEM M ， BANERJI S ， PIES C ， et al . Large-area， high-numerical-aperture multi-level diffractive lens via inverse design： errata ［J］. Optica ， 2020 ， 7 （ 3 ）： 252 - 253 . doi: 10.1364/optica.388697 http://dx.doi.org/10.1364/optica.388697

WANG P ， MOHAMMAD N ， MENON R . Chromatic-aberration-corrected diffractive lenses for ultra-broadband focusing ［J］. Scientific Reports ， 2016 ， 6 ： 21545 . doi: 10.1038/srep21545 http://dx.doi.org/10.1038/srep21545

TSENG M L ， HSIAO H ， CHU C H ， et al . Metalenses： advances and applications ［J］. Advanced Optical Materials ， 2018 ， 6 （ 18 ）： 1800554 . doi: 10.1002/adom.201800554 http://dx.doi.org/10.1002/adom.201800554

AIETA F ， KATS M A ， GENEVET P ， et al . Applied optics. Multiwavelength achromatic metasurfaces by dispersive phase compensation ［J］. Science ， 2015 ， 347 （ 6228 ）： 1342 - 1345 . doi: 10.1126/science.aaa2494 http://dx.doi.org/10.1126/science.aaa2494

KHORASANINEJAD M ， CHEN W T ， DEVLIN R C ， et al . Metalenses at visible wavelengths： Diffraction-limited focusing and subwavelength resolution imaging ［J］. Science ， 2016 ， 352 （ 6290 ）： 1190 - 1194 . doi: 10.1126/science.aaf6644 http://dx.doi.org/10.1126/science.aaf6644

KHORASANINEJAD M ， ZHU A Y ， ROQUES-CARMES C ， et al . Polarization-insensitive metalenses at visible wavelengths ［J］. Nano Letters ， 2016 ， 16 （ 11 ）： 7229 - 7234 . doi: 10.1021/acs.nanolett.6b03626 http://dx.doi.org/10.1021/acs.nanolett.6b03626

PHAN T ， SELL D ， WANG E W ， et al . High-efficiency， large-area， topology-optimized metasurfaces ［J］. Light： Science & Applications ， 2019 ， 8 ： 48 . doi: 10.1038/s41377-019-0159-5 http://dx.doi.org/10.1038/s41377-019-0159-5

QI B Y ， CHEN W ， DUN X ， et al . All-day thin-lens computational imaging with scene-specific learning recovery ［J］. Applied Optics ， 2022 ， 61 （ 4 ）： 1097 - 1105 . doi: 10.1364/ao.448155 http://dx.doi.org/10.1364/ao.448155

Views

1966

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Shape from infrared polarization driven by polarimetric physical priors with deep learning

Computational spectral imaging systems and reconstruction algorithms

Polarization computational imaging super-resolution reconstruction with lightweight attention cascading network

Image restoring method based on region selection network and its application in computational imaging

Combined exposure computational imaging system and image restoration method

Related Author

TONG Qiunan

SHI Zelin

CHEN Bin

LIU Haizheng

CHEN Yating

LIU Xinyu

WU Jiachen

MA Yuchen

Related Institution

Key Laboratory of Opto-Electronic Information Processing， Chinese Academy of Sciences

Shenyang Institute of Automation， Chinese Academy of Sciences

University of Chinese Academy of Sciences

Department of Precision Instruments， Tsinghua University

College of Optical Science and Engineering， Zhejiang University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰