赤外画像と可視光画像は撮像機構が異なるため、従来のマッチングアルゴリズムはマッチング精度が低く、ロバスト性に乏しい問題がある。そこで、CycleGAN-SIFTに基づく可視光画像と赤外画像のマッチングアルゴリズムを提案する。可視光画像と赤外画像の特徴差がマッチング結果に及ぼす影響を低減するために、転移学習で重みを共有し、CycleGANを用いて可視光画像と赤外画像を基に擬似赤外画像を生成する。SIFT特徴抽出アルゴリズムで擬似赤外画像と赤外画像の特徴点をそれぞれ抽出してマッチングを行う。誤マッチ率を下げるために、RANSACを用いて誤マッチ点対を除去する。最後に、擬似赤外画像の特徴点を可視光画像にマッピングし、可視光画像と赤外画像のマッチングを実現する。提案アルゴリズムの有効性を検証するために、OTCBVSおよびTNO Image Fusion Datasetから任意に4組の異種画像を選び、無ノイズ、有ノイズ、および角度歪みの3つの条件下で、SIFT、Canny-SIFT、SURF、CMM-Netの4つの古典的アルゴリズムと比較した。実験結果は、角度歪みとノイズ干渉を考慮しない場合、提案アルゴリズムのマッチング正解率が95%以上に達することを示し、角度歪みとノイズ干渉があってもマッチング正解率は95%以上であり、高いマッチング精度とロバスト性を持つ。

画像マッチング;異種画像;サイクル生成対抗ネットワーク;スケール不変特徴;ランダムサンプルコンセンサスアルゴリズム