Automatic registration of optical and SAR remote sensing image based on phase feature

Ming-chao SUN; Tian-xiang MA; Yue-ming SONG; Jia-qi PENG

doi:10.37188/OPE.20212903.0616

您当前的位置：

首页 >

文章列表页 >

Automatic registration of optical and SAR remote sensing image based on phase feature

更新时间：2021-04-09

- Automatic registration of optical and SAR remote sensing image based on phase feature
- Optics and Precision Engineering Vol. 29, Issue 3, Pages: 616-627(2021)
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.驻长春地区第一军事代表室，吉林长春 130022
- 作者简介：
- 基金信息：
- DOI：10.37188/OPE.20212903.0616
  CLC： TP394.1;TH691.9
- Received：02 December 2020，
  
  Revised：07 February 2021，
  
  Published：15 March 2021
- 稿件说明：
移动端阅览
孙明超,马天翔,宋悦铭等.基于相位特征的可见光和SAR遥感图像自动配准[J].光学精密工程,2021,29(03):616-627.

SUN Ming-chao,MA Tian-xiang,SONG Yue-ming,et al.Automatic registration of optical and SAR remote sensing image based on phase feature[J].Optics and Precision Engineering,2021,29(03):616-627.
孙明超,马天翔,宋悦铭等.基于相位特征的可见光和SAR遥感图像自动配准[J].光学精密工程,2021,29(03):616-627. DOI： 10.37188/OPE.20212903.0616.

SUN Ming-chao,MA Tian-xiang,SONG Yue-ming,et al.Automatic registration of optical and SAR remote sensing image based on phase feature[J].Optics and Precision Engineering,2021,29(03):616-627. DOI： 10.37188/OPE.20212903.0616.

摘要

针对可见光和SAR遥感图像存在非线性辐射差异和几何差异，加之SAR的斑点噪声，使得可见光和SAR图像配准十分困难的问题。本文提出了一种基于改进相位一致性的可见光和SAR图像配准方法。首先，分别计算相位一致性的最大矩和最小矩，将二者叠加，利用Harris算子在叠加图上提取特征点，得到稳定的角点和边缘点作为待匹配的特征点；接着，分别构建相位一致性的方向图和基于多尺度融合的最大幅值索引图，借助于（Histogram of Oriented Gradients， HOG）模板，利用相位一致性方向对基于多尺度融合的最大幅值索引图进行投票，建立一种新颖的局部特征描述符；最后，利用欧式距离作为特征向量的度量，计算最近邻比率实现特征匹配，采用快速采样一致性算法剔除误匹配点。在四组图像数据上的实验结果表明，本算法相比于基于梯度的OS-SIFT算法具有更多的正确匹配点对和更高的匹配精度，正确匹配点数分别提高了11，8，15和11对，均方根误分别提升了57.5%，57.9%，23.5%和58%。

Abstract

Optical SAR image registration is highly difficult because of the geometric and nonlinear radiation differences between optical and SAR remote sensing images， as well as the speckle noise of SAR. Thus， this paper proposes an automatic algorithm， based on phase congruency， to register optical and SAR images. First， the maximum and minimum moments of phase consistency are calculated， and the results are superimposed. The feature points are extracted from the superimposed image by the Harris operator， and then， the stable corner points and edge points are obtained as the feature points to be matched. Subsequently， the phase-consistent orientation and the maximum amplitude index map， based on multi-scale fusion， are constructed with the help of the HOG template. The maximum amplitude index map based on multi-scale fusion is voted using the phase consistency orientation， and a novel local feature descriptor is established. Finally， Euclidean distance is used as the measure of the feature vector， the nearest neighbor ratio is calculated to realize feature matching， and the fast sampling consistency algorithm is used to eliminate mismatched points. Experimental results on three sets of image data show that the proposed algorithm has more correct matching points and a higher matching accuracy than the gradient-based OS-SIFT algorithm. The number of correct matching points is increased by 11， 8， 15 and 11 pairs， and the root mean square error is increased by 57.5%， 57.9%， 23.5% and 58%， respectively.

关键词

Keywords

references

SHITOLE S ， SHARMA M ， DE S ， et al . . Local contrast based adaptive sar speckle filter ［J］. Journal of the Indian Society of Remote Sensing ， 2017 ， 45 （ 3 ）： 1 - 12 .

KULKARNI S C ， REGE P P . Pixel level fusion techniques for SAR and optical images： A review ［J］. Information Fusion ， 2020 ， 59 ， 13 - 29 .

于周锋，吴凡，宁新潮，等 . 基于无人机载的光电与SAR图像融合技术研究［J］. 应用光学， 2017 ， 38 （ 2 ）： 174 - 179 .

YU ZH F ， WU F ， NING X CH ， et al . . Fusion method of optical image and SAR based on UAV ［J］. Journal of Applied Optics ， 2017 ， 38 （ 2 ）： 174 - 179 . （in Chinese） .

江晟 . 基于多模态特征的光-SAR图像融合配准算法［J］. 吉林大学学报（信息科学版）， 2015 ， 33 （ 2 ）： 208 - 213 .

JIANG SH . Optical-SAR image registration using multimodal features fusion algorithm ［J］. Journal of JILIN University （Information Science Edition）， 2015 ， 33 （ 2 ）： 208 - 213 . （in Chinese）

POULAIN V ， INGLADA J ， SPIGAI M ， et al . . Fusion of high resolution optical and SAR images with vector data bases for change detection ［C］. 2009 IEEE International Geoscience and Remote Sensing Symposium ， Cape Town ， South Africa： 2010 ， 4 ： 956 - 959 .

刘朝霞 . 航空遥感图像配准技术［M］. 北京：科学出版社， 2014 .

LIU ZH X . Aerial Remote Sensing Image Registration Technology ［M］. Beijing ： Science Press ， 2014 . （in Chinese）

ZITOVA B . Flusser， Image registration methodsJ.： a survey ［J］. Image and Vision. Computing . 2003 ， 21 ： 977 - 1000 .

余先川，吕中华，胡丹．遥感图像配准技术综述［J］．光学精密工程， 2013 ， 21 （ 11 ）： 2960 - 2972 .

YU X CH ， LÜ ZH H ， HU D ． Review of remote Sensing image registration techniques ［J］． Opt. Precision Eng. ， 2013 ， 21 （ 11 ）： 2960 - 2972 . （in Chinese）

眭海刚，徐川，刘俊怡 . 基于特征的光学与SAR遥感图像配准［M］. 北京：科学出版社， 2017 .

SUI H G ， XU CH ， LIU J Y . Feature Based Optical and SAR Remote Sensing Image Registration ［M］. Beijing ： Science Press ， 2017 . （in Chinese）

SURI S ， REINARTZ P . Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas . IEEE Transactions on Geoscience and Remote Sensing ， 2010 ， 48 ， 939 - 949 .

SHI W ， SU F Z ， WANG R R ， et al .. A visual circle based image registration algorithm for optical and SAR imagery ［C］. Proceedings of the 2012 IEEE International Geoscience and Remote Sensing Symposium ， Munich ， Germany： IGARSS 2012 ： 2109 - 2112 .

保文星，桑斯尔，沈象飞 . 基于信息熵约束和KAZE特征提取的遥感图像配准算法研究［J］. 光学精密工程， 2020 ， 28 （ 8 ）， 1810 - 1819 .

BAO W X ， SANG S E ， SHEN X F . Research on remote sensing image registration algorithm based on information entropy constraint and kaze feature extraction ［J］. Opt. Precision Eng. ， 2020 ， 28 （ 8 ）， 1810 - 1819 . （in Chinese）

樊建伟 . 基于特征点的SAR图像配准算法研究［D］. 西安：西安电子科技大学， 2017 .

FAN J W . Research on SAR Image Registration Based on Feature Point ［D］. Xi’an ： Xidian University ， 2017 . （in Chinese）

方兰兰，刘贵喜，吕孟娇，等．利用边缘直线特征的异源图像配准［J］．光学精密工程， 2015 ： 764 - 772 .

FANG L L ， LIU G X ， LÜ M J ， et al . . Multi-source matching of multi-sensor images based on edge line features ［J］. Opt. Precision Eng . 2015 ： 764 - 772 . （in Chinese）

LI H ， MANJUNATH B S ， MITRA S K . Contour-based multisensor image registration ［C］. Proceedings of the Conference Record of the Twenty-Sixth Asilomar Conference on Signals ， Systems & Computers ， Pacific Grove ， CA ， USA： 1992 ， 182-186 .

LOWE D G . Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision ， 2004 ， 60 （ 2 ）： 91 - 110 .

李芳芳，肖本林，贾永红，等 . SIFT算法优化及其用于遥感影像自动配准［J］. 武汉大学学报（信息科学版）， 2009 ， 34 （ 10 ）： 1245 - 1249 .

LI F F ， XIAO B L ， JIA Y H ， et al . . Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery ［J］． Geomatics and information science of Wuhan university ， 2009 ， 34 （ 10 ）： 1245 - 1249 . （in Chinese） .

XIANG Y ， WANG F ， YOU H . OS-SIFT： A robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 ， 3078 – 3090 .

MA W ， WEN Z ， WU Y ， et al . . Remote sensing image registration with modified SIFT and enhanced feature matching ［J］. IEEE Geoscience and Remote Sensing Letters . 2017 ， 14 ， 3 - 7 .

KOVESI P . Image features from phase congruency ［J］. Journal of Computer Vision Research ， 1999 ， 1 （ 3 ）： 1 - 27 .

KOVESI P . Phase congruency detects corners and edges ［C］. Proceedings of the International Conference on Digital Image Computing ： Techniques and Applications ， Macquarie University ， Sydney ， Australia： DICTA 2003 ： 309 - 318 .

YE Y X ， SHEN L . HOPC： A novel similarity metric based on geometric structural properties for multi-modal remote sensing image matching ［C］. Proceedings of the ISPRS Annals of the Photogrammetry ， Remote Sensing and Spatial Information Sciences ， Prague ， Czech Republic： ISPRS 2016 ： 9 - 16 .

叶沅鑫，慎利，陈敏，等 . 局部相位特征描述的多源遥感影像自动匹配［J］. 武汉大学学报（信息科学版）， 2017 ， 42 （ 9 ）： 1278 - 1284 .

YE Y X ， SHEN L ， CHEN M ， et al . . An automatic matching method based on local phase feature descriptor for multi-source remote sensing ［J］. Geomatics and Information Science of Wuhan University ， 2017 ， 42 （ 9 ）： 1278 - 1284 . （in Chinese）

FAN J W ， WU Y ， LI M ， et al . . SAR and optical image registration using nonlinear diffusion and phase congruency structural descriptor ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 ， 5368 - 5379 .

李欣，杨宇辉，杨博，等 . 利用方向相位特征进行多源遥感影像匹配［J］. 武汉大学学报（信息科学版）， 2020 ， 45 （ 4 ）： 17 - 23 .

LI X ， YANG Y H ， YANG B ， et al . . A multi-source remote sensing image matching method using directional phase feature ［J］. Geomatics and information science of Wuhan university ， 2020 ， 45 （ 4 ）： 17 - 23 . （in Chinese）

LI J ， HU Q ， AI M . RIFT： Multi-modal image matching based on radiation-variation insensitive feature transform ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ， 3296 - 3310 .

Views

869

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multimodality robust local feature descriptors

Infrared-visible remote sensing image registration method based on Kullback-Leibler divergence using variational approximation

Multispectral image fusion method for surface defect detection of IC devices

Feature point detection for optical and SAR remote sensing images registration

Dual energy imaging inspection system using dual layer flat panel detector

Related Author

ZHAO Chun-Yang

ZHAO Huai-Ci

WANG Jia

WU Hao

FU Ruigang

KONG Lingshuang

ZUO Yi

DENG Yaohua

Related Institution

University of Chinese Academy of Sciences

Key Laboratory of Optical Electronics Information Processing, Chinese Academy of Sciences

Shenyang Institute of Automation, Chinese Academy of Sciences

College of Electronic Science and Technology， National University of Defense Technology

Institute of Dataspace， Hefei Comprehensive National Science Center

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China Postal code：130033
Tel：0431-86176855 Email：gxjmgc@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰