“十”字型四孔径视场部分重叠仿生热成像

杨建国; 罗琳; 金伟其; 李力; 何玉青

doi:10.37188/OPE.20223009.1019

您当前的位置：

首页 >

文章列表页 >

“十”字型四孔径视场部分重叠仿生热成像

现代应用光学 | 更新时间：2022-05-26

- “十”字型四孔径视场部分重叠仿生热成像
- Bionic thermal imaging with cross-shaped four-aperture partially overlapped field of view
- 光学精密工程 2022年30卷第9期页码：1019-1028
- 作者机构：
  
  北京理工大学光电成像技术与系统教育部重点实验室，北京 100081
- 作者简介：
  
  [ "杨建国（1995-），男，山西朔州人，博士研究生，2018年于北京理工大学获得学士学位，主要从事红外偏振、仿生复眼和光电图像处理方面的研究。E-mail： 3120195336@bit.edu.cn" ]
  [ "金伟其（1961-），男，上海市人，教授，博士生导师，1982年于北京工业学院获得学士学位，1990年于北京理工大学获得博士学位，主要从事夜视与红外技术、光电图像处理、光电检测与仪器方面的研究。E-mail： jinwq@bit.edu.cn" ]
- 基金信息：
  
  国家自然科学基金资助(61871034);装备预研航天科工联合基金资助项目(6141B07090112);装备预研兵器工业联合基金资助项目(6141B012873)
- DOI：10.37188/OPE.20223009.1019
  中图分类号： TH703;TP391
- 收稿日期：2021-10-15，
  
  修回日期：2021-12-08，
  
  纸质出版日期：2022-05-10
- 稿件说明：
移动端阅览
杨建国,罗琳,金伟其等.“十”字型四孔径视场部分重叠仿生热成像[J].光学精密工程,2022,30(09):1019-1028.

YANG Jianguo,LUO Lin,JIN Weiqi,et al.Bionic thermal imaging with cross-shaped four-aperture partially overlapped field of view[J].Optics and Precision Engineering,2022,30(09):1019-1028.
杨建国,罗琳,金伟其等.“十”字型四孔径视场部分重叠仿生热成像[J].光学精密工程,2022,30(09):1019-1028. DOI： 10.37188/OPE.20223009.1019.

YANG Jianguo,LUO Lin,JIN Weiqi,et al.Bionic thermal imaging with cross-shaped four-aperture partially overlapped field of view[J].Optics and Precision Engineering,2022,30(09):1019-1028. DOI： 10.37188/OPE.20223009.1019.

摘要

为了缓减探测器工艺受限条件下常规热成像系统视场和分辨率的矛盾，对多孔径布局模式、非重叠区域图像拼接算法以及重叠区域超分辨处理算法进行了研究。针对多孔径布局模式，提出了“十”字型四孔径和“十”字型五孔径视场部分重叠仿生热成像模式，并与“田”字型四孔径进行对比。采用ULIS公司微型非制冷红外焦平面探测器Micro80 GEN2，研制了“十”字型四孔径视场部分重叠仿生热成像实验系统，通过子孔径间的非重叠区域增大成像视场及基于重叠区域的亚像素微位移实现超分辨，构成类似人眼视觉的中心高分辨成像、边缘大视场搜索的视觉模式。对实验系统获取的分辨率靶标图像和外界场景图像进行了去盲元和非均匀性校正、基于透视变换的图像拼接以及基于焦平面探测器空间积分模型的超分辨处理，获得了空间变分辨率成像，并对图像进行了主客观评价。实验系统尺寸为180 mm×100 mm×100 mm，拼接总视场为单孔径相机的2.36倍，四孔径重叠区域占总视场的7.78%，成像分辨率得到了改善。该成像系统利用多个子孔径构成多目立体视觉，通过安装偏振片或滤光片还能实现偏振热成像或多光谱成像，具有广阔的应用前景。

Abstract

To alleviate the contradiction between the field of view and resolution in conventional thermal imaging systems with limited detector technology， the multi-aperture layout mode is studied with image stitching algorithm in the non-overlapped areas and super-resolution processing algorithm in the overlapped areas. The partially overlapped bionic thermal imaging modes of cross-shaped four-aperture and cross-shaped five-aperture field of view are proposed for the multi-aperture layout mode to compare and analyze their uniqueness with respect to the Tian-shaped four-aperture. Using ULIS's miniature uncooled infrared focal plane detector Micro80 GEN2， a system of bionic thermal imaging is developed with cross-shaped four-aperture partially overlapped field of view. This provides a visual mode similar to human vision with high-resolution imaging in the center and large-field search in the periphery， using the non-overlapped areas to increase the imaging field of view and the sub-pixel micro-shift in the overlapped areas to achieve super-resolution. Image processing is performed on the resolution target image， wherein an external scene image is obtained by the experimental system， with blind element removal， non-uniformity correction， image stitching based on perspective transformation， and super-resolution using a spatial integration model for the focal plane detector. The spatially variable resolution images obtained are evaluated both qualitatively and quantitatively. The size of the experimental system is 180 mm×100 mm ×100 mm； the stitching total field of view is 2.36 times that of a single-aperture camera； the overlapping area of the four apertures accounts for 7.78% of the total field of view， and the imaging resolution is improved. The imaging system uses multiple sub-apertures to form multi-view stereo vision to realize stereo imaging. Moreover， it can realize polarization thermal imaging or multi-spectral imaging by installing polarizers or filters， making it suitable for a variety of applications.

关键词

Keywords

references

金伟其，林青，裘溯，等 . 多孔径仿生复眼成像系统技术进展综述［J］. 光学与光电技术， 2011 ， 9 （ 6 ）： 9 - 13 . doi: 10.3969/j.issn.1672-3392.2011.06.002 http://dx.doi.org/10.3969/j.issn.1672-3392.2011.06.002

JIN W Q ， LIN Q ， QIU S ， et al . Progress of multiaperture bionic compound eye imaging systems ［J］. Optics & Optoelectronic Technology ， 2011 ， 9 （ 6 ）： 9 - 13 . （in Chinese） . doi: 10.3969/j.issn.1672-3392.2011.06.002 http://dx.doi.org/10.3969/j.issn.1672-3392.2011.06.002

ZHU L ， ZHANG Y L ， SUN H B . Miniaturising artificial compound eyes based on advanced micronanofabrication techniques ［J］. Light： Advanced Manufacturing ， 2021 ， 2 （ 1 ）： 84 - 100 . doi: 10.37188/lam.2021.007 http://dx.doi.org/10.37188/lam.2021.007

CARLES G ， DOWNING J ， HARVEY A R . Super-resolution imaging using a camera array ［J］. Optics Letters ， 2014 ， 39 （ 7 ）： 1889 - 1892 . doi: 10.1364/ol.39.001889 http://dx.doi.org/10.1364/ol.39.001889

PERAZZI F ， SORKINE‐HORNUNG A ， ZIMMER H ， et al . Panoramic video from unstructured camera arrays ［J］. Computer Graphics Forum ， 2015 ， 34 （ 2 ）： 57 - 68 . doi: 10.1111/cgf.12541 http://dx.doi.org/10.1111/cgf.12541

GARCÍA-DÍAZ A ， MENDEZ-RIAL R ， SOUTO-LÓPEZ A . Embedded video rate super-resolution in the infrared with a low-cost multi-aperture camera ［C］. Unconventional Optical Imaging. April 22 - 26 ， 2018 . Strasbourg， France. SPIE ， 2018 ， 10677 ： 1067705 . doi: 10.1117/12.2307724 http://dx.doi.org/10.1117/12.2307724

罗琳，杨建国，裘溯，等 . 多孔径分布式视场部分重叠仿生热成像理论与技术［J］. 红外与激光工程， 2021 ， 50 （ 5 ）： 9 - 15 .

LUO L ， YANG J G ， QIU S ， et al . Theory and technology of bionic thermal imaging with multi-aperture distributed and partially overlapped field of view ［J］. Infrared and Laser Engineering ， 2021 ， 50 （ 5 ）： 9 - 15 . （in Chinese）

YUAN X ， JI M ， WU J ， et al . A modular hierarchical array camera ［J］. Light： Science & Applications ， 2021 ， 10 ： 37 . doi: 10.1038/s41377-021-00485-x http://dx.doi.org/10.1038/s41377-021-00485-x

TANIDA J ， KUMAGAI T ， YAMADA K ， et al . Thin observation module by bound optics （TOMBO）： concept and experimental verification ［J］. Applied Optics ， 2001 ， 40 （ 11 ）： 1806 - 1813 . doi: 10.1364/ao.40.001806 http://dx.doi.org/10.1364/ao.40.001806

高泽东，高洪兴，朱院院，等 . 快照式光谱成像技术综述［J］. 光学精密工程， 2020 ， 28 （ 6 ）： 1323 - 1343 . doi: 10.3788/OPE.20202806.1323 http://dx.doi.org/10.3788/OPE.20202806.1323

GAO Z D ， GAO H X ， ZHU Y Y ， et al . Review of snapshot spectral imaging technologies ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 6 ）： 1323 - 1343 . （in Chinese） . doi: 10.3788/OPE.20202806.1323 http://dx.doi.org/10.3788/OPE.20202806.1323

LAYCOCK L C ， HANDEREK V A . Miniature imaging devices for airborne platforms ［C］. SPIE Security + Defence. Proc SPIE 7113， Electro-Optical and Infrared Systems ： Technology and Applications V， Cardiff， Wales， United Kingdom . 2008 ， 7113 ： 7113M . doi: 10.1117/12.799635 http://dx.doi.org/10.1117/12.799635

裘溯，倪宇，金伟其，等 . 基于微端面光纤面板的多孔径视场重叠复眼的视场模型［J］. 光学精密工程， 2015 ， 23 （ 11 ）： 3018 - 3025 . doi: 10.3788/OPE.20152311.3018 http://dx.doi.org/10.3788/OPE.20152311.3018

QIU S ， NI Y ， JIN W Q ， et al . FOV modeling of multi-aperture superposition compound eye based on micro-surface fiber faceplate ［J］. Opt. Precision Eng. ， 2015 ， 23 （ 11 ）： 3018 - 3025 . （in Chinese） . doi: 10.3788/OPE.20152311.3018 http://dx.doi.org/10.3788/OPE.20152311.3018

杨超，裘溯，金伟其，等 . 基于多微面光纤面板的仿生复眼图像拼接及定位算法［J］. 兵工学报， 2018 ， 39 （ 6 ）： 1144 - 1150 . doi: 10.3969/j.issn.1000-1093.2018.06.014 http://dx.doi.org/10.3969/j.issn.1000-1093.2018.06.014

YANG CH ， QIU S ， JIN W Q ， et al . Image mosaic and positioning algorithms of bionic compound eye based on fiber faceplate ［J］. Acta Armamentarii ， 2018 ， 39 （ 6 ）： 1144 - 1150 . （in Chinese） . doi: 10.3969/j.issn.1000-1093.2018.06.014 http://dx.doi.org/10.3969/j.issn.1000-1093.2018.06.014

CARLES G ， CHEN S Q ， BUSTIN N ， et al . Multi-aperture foveated imaging ［J］. Optics Letters ， 2016 ， 41 （ 8 ）： 1869 - 1872 . doi: 10.1364/ol.41.001869 http://dx.doi.org/10.1364/ol.41.001869

张家铭，陈宇，覃海棋，等 . 大视场并列型仿生复眼光学系统［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1012 - 1020 .

ZHANG J M ， CHEN Y ， TAN H Q ， et al . Optical system of bionic compound eye with large field of view ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1012 - 1020 . （in Chinese）

金伟其，王霞，杨建国，等 . 一种“十”字型四孔径视场部分重叠仿生热成像系统： CN110595624B ［P］. 2021-01-01 .

JIN W Q ， WANG X ， YANG J G ， et al . Cross-shaped four-aperture field-of-view partially-overlapped bionic thermal imaging system ： CN110595624B ［P］. 2021-01-01 . （in Chinese）

李力，杨建国，金伟其，等 . 一种“十”字型五孔径视场部分重叠仿生热成像系统： CN110595625B ［P］. 2021-02-02 . doi: 10.1063/5.0049013 http://dx.doi.org/10.1063/5.0049013

LI L ， YANG J G ， JIN W Q ， et al . Cross-shaped five-aperture field-of-view partially-overlapped bionic thermal imaging system ： CN110595625B ［P］. 2021-02-02 . （in Chinese） . doi: 10.1063/5.0049013 http://dx.doi.org/10.1063/5.0049013

LI Y Y ， JIN W Q ， LIU Z H . Interior radiation noise reduction method based on multiframe processing in infrared focal plane arrays imaging system ［J］. IEEE Photonics Journal ， 2018 ， 10 （ 5 ）： 1 - 12 . doi: 10.1109/jphot.2018.2865224 http://dx.doi.org/10.1109/jphot.2018.2865224

LU L ， JIN W Q ， DUN X ， et al . Detector MTF based micro-scanning image reconstruction ［C］. Proc SPIE 8907， International Symposium on Photoelectronic Detection and Imaging 2013 ： Infrared Imaging and Applications ， 2013 ， 8907 ： 890706 . doi: 10.1117/12.2034055 http://dx.doi.org/10.1117/12.2034055

浏览量

592

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

光学精密工程 | 仿生复眼：“十”字型四孔径视场部分重叠仿生热成像

超分辨近场结构光磁混合存储介质温度场模拟

子孔径变换与多孔径扫描拼接技术