面向可见光和SAR影像配准的特征点检测

王丽娜; 梁怀丹; 王中石; 徐瑞; 石广丰

doi:10.37188/OPE.20223014.1738

您当前的位置：

首页 >

文章列表页 >

面向可见光和SAR影像配准的特征点检测

信息科学 | 更新时间：2022-08-08

- 面向可见光和SAR影像配准的特征点检测
- Feature point detection for optical and SAR remote sensing images registration
- 光学精密工程 2022年30卷第14期页码：1738-1748
- 作者机构：
  
  1.长春理工大学机电工程学院，吉林长春 130022
  2.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
- 作者简介：
  
  [ "王丽娜（1986-），女，黑龙江鹤岗人，博士，讲师，2021年于中国科学院长春光机所获得博士学位。现就职于长春理工大学机电工程学院，主要从事多源遥感图像配准等方面的研究。E-mail： wangln@cust.edu.ac.cn" ]
  [ "石广丰（1981-），男，吉林长春人，教授，博导，2010年于中国科学院长春光机所获得博士学位，现为长春理工大学机电工程学院教授，主要从事图像特征检测与识别方面的研究。E-mail： shiguangfeng@cust.edu.cn" ]
- 基金信息：
  
  国家自然科学基金项目(62103396);吉林省自然科学基金项目(YDZJ202101ZYTS048);吉林省教育厅科学研究项目(JJKH20210811KJ)
- DOI：10.37188/OPE.20223014.1738
  中图分类号： TP751.1
- 收稿日期：2021-11-24，
  
  修回日期：2022-01-17，
  
  纸质出版日期：2022-07-25
- 稿件说明：
移动端阅览
王丽娜,梁怀丹,王中石等.面向可见光和SAR影像配准的特征点检测[J].光学精密工程,2022,30(14):1738-1748.

WANG Lina,LIANG Huaidan,WANG Zhongshi,et al.Feature point detection for optical and SAR remote sensing images registration[J].Optics and Precision Engineering,2022,30(14):1738-1748.
王丽娜,梁怀丹,王中石等.面向可见光和SAR影像配准的特征点检测[J].光学精密工程,2022,30(14):1738-1748. DOI： 10.37188/OPE.20223014.1738.

WANG Lina,LIANG Huaidan,WANG Zhongshi,et al.Feature point detection for optical and SAR remote sensing images registration[J].Optics and Precision Engineering,2022,30(14):1738-1748. DOI： 10.37188/OPE.20223014.1738.

摘要

由于可见光和SAR影像间的非线性辐射差异和SAR斑点噪声的影响，现有算法在对SAR影像进行特征点提取时，难以保证特征点的重复率，导致匹配性能下降。针对上述问题，本文提出了一种基于相位一致性矩特征的分块Harris特征点提取算法。首先，对输入图像进行分块操作；其次，定义了相位一致性中间矩，并结合最大矩和最小矩对每个图像块构建相位一致性多矩图；最后，在相位一致性多矩图上设计了投票策略，选取了在多矩图上重复出现超过半数的特征点，即稳定且重复率高的特征点作为最终的特征点。本文采用仿真的可见光和SAR图像作为实验数据，选取了三种不同的特征点检测算法与本文算法进行对比，实验结果表明，该算法能够克服SAR斑点噪声的影响和影像间的非线性辐射差异，有效地提高了特征点的重复率。可见光和SAR图像的配准结果表明，匹配点数较其他三种测试算法分别提高了23、26和35对，均方根误差分别降低了12.6%、37.2%和40.8%，有效地提升了配准算法性能。

Abstract

The influence of SAR speckle noise makes it difficult for the existing state-of-the art algorithms to guarantee the repeatability rate of feature points when extracting them from optical and SAR images owing to the nonlinear radiation differences between optical and SAR remote sensing images， which consequently reduce the matching performance. To address the above problems， a Harris feature point extraction algorithm based on phase congruency moment feature is proposed. Firstly， blocking strategy was used to divide the input image into several image blocks； secondly， phase congruency intermediate moments were defined； then， phase congruency multi-moment maps were calculated for each image block； and finally， a voting strategy was designed on the phase congruency multi-moment maps. The feature points that appeared more than half of the time on the multi-moment image were selected as the final feature points. In this study， the simulated optical and SAR images were used as experimental data， and three different feature point detection algorithms were selected for comparison with the proposed algorithm. Experimental results showed that the proposed algorithm can overcome the influence of nonlinear radiation differences between optical and SAR remote sensing images and the SAR speckle noise， improving the repeatability rate of feature points effectively. The registration results on the real optical and SAR images showed that， compared with the other three algorithms， the matching points increased by 23， 26， and 35 pairs and the root mean square error decreased by 12.6%， 37.2%， and 40.8%， respectively. The performance of registration algorithm was improved effectively.

关键词

Keywords

references

SHITOLE S ， SHARMA M ， DE S ， et al . Local contrast based adaptive SAR speckle filter ［J］. Journal of the Indian Society of Remote Sensing ， 2017 ， 45 （ 3 ）： 451 - 462 . doi: 10.1007/s12524-016-0613-2 http://dx.doi.org/10.1007/s12524-016-0613-2

吴文达，张葆，洪永丰，等 . 机载红外与合成孔径雷达共孔径天线设计［J］. 中国光学， 2020 ， 13 （ 3 ）： 595 - 604 . doi: 10.3788/CO.2019-0160 http://dx.doi.org/10.3788/CO.2019-0160

WU W D ， ZHANG B ， HONG Y F ， et al . Design of co-aperture antenna for airborne infrared and synthetic aperture radar ［J］. Chinese Optics ， 2020 ， 13 （ 3 ）： 595 - 604 . （in Chinese） . doi: 10.3788/CO.2019-0160 http://dx.doi.org/10.3788/CO.2019-0160

眭海刚，徐川，刘俊怡 . 基于特征的光学与SAR遥感图像配准［M］. 北京：科学出版社， 2017 .

SUI H G ， XU C ， LIU J Y . Feature Based Optical and SAR Remote Sensing Image Registration ［M］. Beijing ： Science Press ， 2017 . （in Chinese）

KULKARNI S C ， REGE P P . Pixel level fusion techniques for SAR and optical images： a review ［J］. Information Fusion ， 2020 ， 59 ： 13 - 29 . doi: 10.1016/j.inffus.2020.01.003 http://dx.doi.org/10.1016/j.inffus.2020.01.003

吕宝林，佟首峰，徐伟，等 . 基于配准的机载红外非均匀性校正技术应用［J］. 中国光学， 2020 ， 13 （ 5 ）： 1124 - 1137 . doi: 10.37188/CO.2020-0109 http://dx.doi.org/10.37188/CO.2020-0109

LV B L ， TONG S F ， XU W ， et al . Non-uniformity correction of airborne infrared detection system based on inter-frame registration ［J］. Chinese Optics ， 2020 ， 13 （ 5 ）： 1124 - 1137 . （in Chinese） . doi: 10.37188/CO.2020-0109 http://dx.doi.org/10.37188/CO.2020-0109

LOWE D G . Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision ， 2004 ， 60 （ 2 ）： 91 - 110 . doi: 10.1023/b:visi.0000029664.99615.94 http://dx.doi.org/10.1023/b:visi.0000029664.99615.94

BAY H ， TUYTELAARS T ， GOOL L V . SURF： Speeded Up Robust Features ［C］. European Conference on Computer Vision Springer， Berlin， Heidelberg ， 2006 ： 404 - 417 . doi: 10.1007/11744023_32 http://dx.doi.org/10.1007/11744023_32

HARRIS C ， STEPHENS M . A combined corner and edge detector ［C］. Proceedings of the Alvey Vision Conference 1988. Manchester. Alvey Vision Club ， 1988 ： 147 – 152 . doi: 10.5244/c.2.23 http://dx.doi.org/10.5244/c.2.23

樊建伟 . 基于特征点的SAR图像配准算法研究［D］. 西安：西安电子科技大学， 2017 . doi: 10.1109/tgrs.2016.2626373 http://dx.doi.org/10.1109/tgrs.2016.2626373

FAN J W . Research on SAR Image Registration Based on Feature Point ［D］. Xi'an ： Xidian University ， 2017 . （in Chinese） . doi: 10.1109/tgrs.2016.2626373 http://dx.doi.org/10.1109/tgrs.2016.2626373

YE Y X ， WANG M M ， HAO S Y ， et al . A novel keypoint detector combining corners and blobs for remote sensing image registration ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 3 ）： 451 - 455 . doi: 10.1109/lgrs.2020.2980620 http://dx.doi.org/10.1109/lgrs.2020.2980620

XIANG Y M ， WANG F ， YOU H J . OS-SIFT： a robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 6 ）： 3078 - 3090 . doi: 10.1109/tgrs.2018.2790483 http://dx.doi.org/10.1109/tgrs.2018.2790483

ZHANG X T ， WANG Y H ， LIU H W . Robust optical and SAR image registration based on OS-SIFT and cascaded sample consensus ［J］. IEEE Geoscience and Remote Sensing Letters ， 2022 ， 19 ： 1 - 5 . doi: 10.1109/lgrs.2021.3069761 http://dx.doi.org/10.1109/lgrs.2021.3069761

FAN J W ， WU Y ， LI M ， et al . SAR and optical image registration using nonlinear diffusion and phase congruency structural descriptor ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 9 ）： 5368 - 5379 . doi: 10.1109/tgrs.2018.2815523 http://dx.doi.org/10.1109/tgrs.2018.2815523

保文星，桑斯尔，沈象飞 . 基于信息熵约束和KAZE特征提取的遥感图像配准算法研究［J］. 光学精密工程， 2020 ， 28 （ 8 ）： 1810 - 1819 .

BAO W X ， SANG S E ， SHEN X F . Remote sensing image registration algorithm based on entropy constrained and KAZE feature extraction ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）： 1810 - 1819 . （in Chinese）

KOVESI P . Image Features from Phase Congruency ［J］. Viderei： Journal of Computer Vision Research ， 1999 ， 1 （ 3 ）： 1 - 26 .

KOVESI P . Phase Congruency Detects Corners and Edges ［C］. The Australian Pattern recognition society conference. Sydney， Australia ： DICTA 2003 ： 309 - 318 .

孙明超，马天翔，宋悦铭，等 . 基于相位特征的可见光和SAR遥感图像自动配准［J］. 光学精密工程， 2021 ， 29 （ 3 ）： 616 - 627 . doi: 10.37188/OPE.20212903.0616 http://dx.doi.org/10.37188/OPE.20212903.0616

SUN M C ， MA T X ， SONG Y M ， et al . Automatic registration of optical and SAR remote sensing image based on phase feature ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 3 ）： 616 - 627 . （in Chinese） . doi: 10.37188/OPE.20212903.0616 http://dx.doi.org/10.37188/OPE.20212903.0616

PAUL S ， PATI U C . Automatic optical-to-SAR image registration using a structural descriptor ［J］. IET Image Processing ， 2020 ， 14 （ 1 ）： 62 - 73 . doi: 10.1049/iet-ipr.2019.0389 http://dx.doi.org/10.1049/iet-ipr.2019.0389

LI J ， HU Q ， AI M . RIFT： multi-modal image matching based on radiation-variation insensitive feature transform ［J］. IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society ， 2019 ： 2019 Dec17. doi: 10.1109/tip.2019.2959244 http://dx.doi.org/10.1109/tip.2019.2959244

MORRONE M C ， OWENS R A . Feature detection from local energy ［J］. Pattern Recognition Letters ， 1987 ， 6 （ 5 ）： 303 - 313 . doi: 10.1016/0167-8655(87)90013-4 http://dx.doi.org/10.1016/0167-8655(87)90013-4

DELLINGER F ， DELON J ， GOUSSEAU Y ， et al . SAR-SIFT： a SIFT-like algorithm for SAR images ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2015 ， 53 （ 1 ）： 453 - 466 . doi: 10.1109/tgrs.2014.2323552 http://dx.doi.org/10.1109/tgrs.2014.2323552

WANG L N ， SUN M C ， LIU J H ， et al . A robust algorithm based on phase congruency for optical and SAR image registration in suburban areas ［J］. Remote Sensing ， 2020 ， 12 （ 20 ）： 3339 . doi: 10.3390/rs12203339 http://dx.doi.org/10.3390/rs12203339

WU Y ， MA W P ， GONG M G ， et al . A novel point-matching algorithm based on fast sample consensus for image registration ［J］. IEEE Geoscience and Remote Sensing Letters ， 2015 ， 12 （ 1 ）： 43 - 47 . doi: 10.1109/lgrs.2014.2325970 http://dx.doi.org/10.1109/lgrs.2014.2325970

浏览量

600

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于相位特征的可见光和SAR遥感图像自动配准

改进的各向异性扩散方程的超声图像滤波方法

多模态鲁棒的局部特征描述符

基于同质区域自动选取的各向异性扩散超声图像去噪

基于脉冲耦合神经网络模型的小波自适应斑点噪声滤除算法