高速微扫描图像超分辨重建

赵浩光; 曲涵石; 王鑫; 尚洋; 刘立刚; 韩松伟; 孟森; 王平

doi:10.37188/OPE.20212910.2456

您当前的位置：

首页 >

文章列表页 >

高速微扫描图像超分辨重建

信息科学 | 更新时间：2021-11-01

- 高速微扫描图像超分辨重建
- Super-resolution reconstruction of micro-scanning images
- 光学精密工程 2021年29卷第10期页码：2456-2464
- 作者机构：
  
  1.国防科技大学空天科学学院，湖南长沙 410073
  2.中国航空工业集团公司沈阳飞机设计研究所，辽宁沈阳 110035
  3.西安电子科技大学计算机科学与技术学院，西安710071
  4.中国科学院长春光学精密机械与物理研究所航空光学成像与测量重点实验室，吉林长春 130033
  5.图像测量与视觉导航湖南省重点实验室，湖南长沙 410073
  6.上海乂义实业有限公司，上海 20114
- 作者简介：
  
  [ "赵浩光（1980-），男，河南新乡人，高级工程师，2003年毕业于长春理工大学获得学士学位，2006年毕业于长春理工大学获得硕士学位，现为国防科技大学在读博士研究生，现就职于沈阳飞机设计研究所。E-mail： laserradar@126.com赵浩光（1980-），男，河南新乡人，高级工程师，2003年毕业于长春理工大学获得学士学位，2006年毕业于长春理工大学获得硕士学位，现为国防科技大学在读博士研究生，现就职于沈阳飞机设计研究所。E-mail： laserradar@126.com" ]
  [ "王　鑫（1993-），男，黑龙江肇东人，助理研究员，任职于中国科学院长春光学精密机械与物理研究所，2016年6月毕业于哈尔滨工业大学，获得控制科学与工程硕士学位，现从事图像处理方面的研究。E-mail： 14S104020@hit.edu.cn" ]
- 基金信息：
  
  森林火情预警监测系统
- DOI：10.37188/OPE.20212910.2456
  中图分类号： TP752.2
- 收稿日期：2021-03-08，
  
  修回日期：2021-03-30，
  
  纸质出版日期：2021-10-15
- 稿件说明：
移动端阅览
赵浩光,曲涵石,王鑫等.高速微扫描图像超分辨重建[J].光学精密工程,2021,29(10):2456-2464.

ZHAO Hao-guang,QU Han-shi,WANG Xin,et al.Super-resolution reconstruction of micro-scanning images[J].Optics and Precision Engineering,2021,29(10):2456-2464.
赵浩光,曲涵石,王鑫等.高速微扫描图像超分辨重建[J].光学精密工程,2021,29(10):2456-2464. DOI： 10.37188/OPE.20212910.2456.

ZHAO Hao-guang,QU Han-shi,WANG Xin,et al.Super-resolution reconstruction of micro-scanning images[J].Optics and Precision Engineering,2021,29(10):2456-2464. DOI： 10.37188/OPE.20212910.2456.

摘要

为了提升无人机机载光电侦察设备的目标识别距离，本文结合实际工程项目研制了适用于机载光电侦察设备的高速微扫描超分辨核心组件，在嵌入式平台GPU-TX2i上实现了图像实时超分辨重建。首先让微扫描核心组件按照预先设定的步长和频率进行微位移，获取四帧具有亚像素偏差的连续的低分辨率图像，然后使用基于概率分布的图像超分辨重建算法，将这四帧图像处理成一帧高分辨率的图像。实验结果表明，探测器输出的帧频为120 FPS、分辨率为640×512的低分辨图像序列经超分辨重建后，变成帧频为30 FPS、分辨率为1 280×1 024的图像序列，有效空间分辨率提升了78.2%，目标识别距离提升了43.3%。重建一帧高分辨率图像耗时约为33 ms，微扫描核心组件的微扫描响应时间小于1.0 ms，到位精度小于0.3 μm（对应约0.03个像素）满足机载光电侦察设备对实时性和精度的要求。

Abstract

To improve the target recognition distance of the airborne electro-optical reconnaissance equipment of a UAV

this study has developed a high-speed micro-scanning super-resolution core component based on an actual engineering project. The real-time super-resolution reconstruction algorithm is implemented in the embedded platform GPU-TX2i. First

the micro-scanning super-resolution core component moves according to the preset step size and frequency to obtain a continuous image sequence with sub-pixel deviation. Then

the image super-resolution reconstruction algorithm is used based on probability distribution to process the acquired four continuous images into higher resolution images. The experimental results show that the image sequence output achieved by the detector with a frame rate of 120 fps and a resolution of 640×512 is reconstructed via super-resolution and becomes an image sequence with a frame rate of 30 fps and a resolution of 1 280×1024. After super-resolution reconstruction

the effective spatial resolution of the image is increased by 78.2% and target recognition distance is increased by 43.3%. The reconstruction time of a high-resolution image is approximately 33 ms. Furthermore

the micro-scanning super-resolution core component's micro-scan response time is < 1.0 ms and the accuracy in place is < 0.3 μm (corresponding to approximately 0.03 pixels). These results meet the real-time and precision requirements of airborne electro-optical reconnaissance equipment.

关键词

Keywords

references

O'NEIL F . WILLIAM. Recent Progress in Microscan Resolution Enhancement ［J］. Northrop grumman corp baltimore md electronic sensors and systems div ， 1999 .

JEAN F ， CHEVRETTE P C . Realization of a fast microscanning device for infrared focal plane arrays ［J］. Realization of a fast microscanning device for infrared focal plane arrays ， 1996 . doi: 10.1117/12.241959 http://dx.doi.org/10.1117/12.241959

JOHN G S ， WAN W H ， HARRIS V ， et al . Compact airborne staring FPA sensor with microscanning ［J］. Compact airborne staring FPA sensor with microscanning ， 1996 .

金伟其，陈翼男，王霞，等 . 考虑探测器填充率及微扫描对位偏差的扫描型亚像元热成像算法［J］. 红外与毫米波学报， 2008 ， 27 （ 4 ）： 308 - 312 . doi: 10.3321/j.issn:1001-9014.2008.04.015 http://dx.doi.org/10.3321/j.issn:1001-9014.2008.04.015

JIN W Q ， CHEN Y N ， WANG X ， et al . Scanning type sub-pixel thermal imaging algorithm taking account of detector filling rate and micro-scanning contraposition bias ［J］. Journal of Infrared and Millimeter Waves ， 2008 ， 27 （ 4 ）： 308 - 312 . （in Chinese） . doi: 10.3321/j.issn:1001-9014.2008.04.015 http://dx.doi.org/10.3321/j.issn:1001-9014.2008.04.015

OLSON C ， THEISEN M ， PACE T ， et al . Model development and system performance optimization for staring infrared search and track （IRST） sensors ［C］. SPIE Defense+Security. Proc SPIE 9820， Infrared Imaging Systems ：. doi: 10.1117/12.2225862 http://dx.doi.org/10.1117/12.2225862

Design ， Analysis ， Modeling ， and Testing XXVII ， Baltimore ， Maryland ， USA ， 2016 ， 9820 ： 63 - 72 . doi: 10.1117/12.2225862 http://dx.doi.org/10.1117/12.2225862

BRAY M ， PANELLA I . Research strategy for the electro-optics sensors domain of the Materials and Components for Missiles Innovative Technology Partnership ［C］. SPIE Defense， Security， and Sensing. Proc SPIE 7668 ，. doi: 10.1117/12.849525 http://dx.doi.org/10.1117/12.849525

Airborne Intelligence ， Surveillance ， Reconnaissance （ISR） Systems and Applications VII ， Orlando ， Florida ， USA ， 2010 ， 7668 ： 288 - 298 . doi: 10.1117/12.849525 http://dx.doi.org/10.1117/12.849525

MILLERJOHN L. ， WILTSE J M . Benefits of microscan for staring infrared imagers ［J］. Benefits of microscan for staring infrared imagers ， 2004 ， 127 - 38 . doi: 10.1117/12.541432 http://dx.doi.org/10.1117/12.541432

王建林，付雪松，黄展超，等 . 改进YOLOv2卷积神经网络的多类型合作目标检测［J］. 光学精密工程， 2020 ， 28 （ 1 ）： 251 - 260 . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251

WANG J L ， FU X S ， HUANG ZH CH ， et al . Multi-type cooperative targets detection using improved YOLOv2 convolutional neural network ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 1 ）： 251 - 260 . （in Chinese） . doi: 10.3788/ope.20202801.0251 http://dx.doi.org/10.3788/ope.20202801.0251

范丽丽，赵宏伟，赵浩宇，等 . 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020 ， 28 （ 5 ）： 1152 - 1164 .

FAN L L ， ZHAO H W ， ZHAO H Y ， et al . Survey of target detection based on deep convolutional neural networks ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 5 ）： 1152 - 1164 . （in Chinese）

WAGNER R S ， WAAGEN D E ， CASSABAUM M L . Image superresolution for improved automatic target recognition ［C］. Defense and Security. Proc SPIE 5426 ， Automatic Target Recognition XIV， Orlando， Florida， USA ， 2004 ， 5426 ： 188 - 196 . doi: 10.1117/12.541161 http://dx.doi.org/10.1117/12.541161

MOHAMMAD S A ， BOGNAR J G ， CAIN S ， et al . Fast registration and reconstruction of aliased low-resolution frames by use of a modified maximum-likelihood approach ［J］. Applied Optics ， 1998 ， 37 （ 8 ）： 1319 . doi: 10.1364/AO.37.001319 http://dx.doi.org/10.1364/AO.37.001319

穆绍硕，张叶，贾平 . 基于自学习局部线性嵌入的多幅亚像元超分辨成像［J］. 光学精密工程， 2015 ， 23 （ 9 ）： 2677 - 2686 . doi: 10.3788/OPE.20152309.2677 http://dx.doi.org/10.3788/OPE.20152309.2677

MU SH SH ， ZHANG Y ， JIA P . Super-resolution imaging of multi-frame sub-pixel images based on self-learning LLE ［J］. Opt. Precision Eng. ， 2015 ， 23 （ 9 ）： 2677 - 2686 . （in Chinese） . doi: 10.3788/OPE.20152309.2677 http://dx.doi.org/10.3788/OPE.20152309.2677

BORMAN S ， STEVENSON R . Spatial resolution enhancement of low-resolution image sequences - A comprehensive review with directions for future research ［EB/OL］. 1998 . https：//www.researchgate.net/publication/2461146 https://www.researchgate.net/publication/2461146 . doi: 10.1109/mwscas.1998.759509 http://dx.doi.org/10.1109/mwscas.1998.759509

浏览量

698

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

光学精密工程 | 光电系统性能的倍增器：高速微扫描超分辨技术

复杂场景中航天器靶标的快速识别

无参考的特征点复杂度激光干扰图像评估

基于双目结构光周视扫描的3D件三维重构与位姿估计研究

重叠分数与匹配矩阵驱动的部分重叠点云配准网络设计

基于Snell窗及偏振模式的水下载体航姿测量