テキスト強化コントラスト学習および適応的プロトタイプ誘導に基づくクロスドメイン高スペクトル画像分類

SONG Jinghai ,  

LIU Xiaosheng ,  

摘要

クロスドメインの少数サンプル高スペクトル画像分類は、ドメインシフトとアノテーションの希少性という二重の課題に直面している。既存の手法は主に純粋な視覚特徴に依存するか、固定のテキスト・ビジュアル整合戦略を採用しており、細粒度のスペクトル識別情報を表現しづらく、ターゲットドメインのサンプル品質の差異を無視している。これに対し、テキスト強化動的コントラスト学習と適応的プロトタイプ誘導分類法を提案する。まず、二重分岐マルチスケールネットワークにより画像ブロックの空間・スペクトル視覚特徴を抽出し、CLIPテキストエンコーダを導入してクラスレベルの意味表現をクロスドメインの安定アンカーとして取得する;これに基づき、視覚的混乱度合いに応じて難しい負例の重みを動的に調整するテキスト強化動的コントラスト学習戦略を設計し、細粒度クラスの識別能力を向上させる;同時に適応的プロトタイプ誘導損失を構築し、ターゲットドメインプロトタイプがソースドメインの特徴空間における識別顕著性に基づいてテキストアンカーとソースドメインの視覚的近傍を適応的に融合し、勾配逆伝播を通じてターゲットドメインプロトタイプの信頼性を間接的に向上させる。Chikuseiをソースドメインとし、Indian Pines、Houston、Salinasの三つのターゲットドメインデータセットでクロスドメイン実験を行い、提案手法の総合分類精度はそれぞれ81.22%、76.82%、93.32%に達し、既存の主流クロスドメイン少数サンプル分類手法より約2%~5%向上した。提案手法は動的コントラスト学習と適応的プロトタイプ誘導の効果的な協調により、クロスドメインの少数サンプルシナリオにおける分類精度と安定性を著しく向上させた。

关键词

高スペクトル画像分類;クロスドメイン少数サンプル学習;動的コントラスト学習;適応的プロトタイプ誘導;マルチモーダル整合

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website