ハイパースペクトル画像（hyperspectral images、HSI）とLiDARデータのマルチモーダル分類タスクにおけるクロスモーダル情報表現および特徴整合の問題に対し、対比学習に基づくCNN-Transformer高スペクトルおよびLiDARデータ協調分類ネットワーク（Contrastive Learning based CNN-Transformer Network、CLCT-Net）を提案する。CLCT-NetはConvNeXt V2ブロックで構成された共有特徴抽出モジュールを通じて異なるモダリティ間の共通特徴を獲得し、異種センサーデータ間のセマンティックアライメント問題を解決する。空間-チャネル支路およびスペクトルコンテキスト支路を含む二重支路HSIエンコーダと、周波数領域の自己注意機構を組み合わせたLiDARエンコーダを構築し、より豊かな特徴表現を取得する。統合対比学習を利用した分類により、マルチモーダルデータの協調分類精度をさらに向上させた。Houston 2013およびTrentoデータセットでの実験結果は、本研究の提案モデルが他の高スペクトル画像およびLiDARデータの分類モデルと比較して、それぞれ92.01％および98.90％のより高い地物分類精度を達成し、クロスモーダルデータ特徴の深い掘り下げと協調抽出を実現したことを示している。

ハイパースペクトル画像; LiDARデータ; Transformer; 畳み込みニューラルネットワーク; 対比学習