可視光赤外線追跡（RGB and Thermal Infrared Tracking、RGB-T）の研究において、従来の追跡アルゴリズムを基に2つのモダリティの効果的な融合を実現するため、注意機構に基づく相互注意型RGB-T追跡アルゴリズムが提案された。本アルゴリズムは、可視光と赤外線の2種のモダリティ画像特徴の強化および融合に注意機構を導入し、単一モダリティ特徴を強化する自己特徴強化エンコーダと、2モダリティ強化特徴を相互融合する相互特徴デコーダを設計した。エンコーダとデコーダはいずれも2層の注意モジュールを採用している。アルゴリズムモデルの複雑性を低減するため、従来の注意モジュールを簡略化し、全結合層を1×1畳み込みに置き換えた。さらに、複数の畳み込み層の特徴を階層的に融合することで、各層の畳み込み特徴の細部および意味情報を十分に活用している。GTOT、RGBT234、およびLasHeRの3つのデータセットで比較実験を実施した。実験結果は、提案アルゴリズムが優れた性能を示し、特に大規模なRGBT234およびLasHeRの2つのデータセットにおいて最良の追跡結果を達成し、注意機構のRGB-T追跡における有効性を検証した。

可視光赤外線追跡;注意機構;マルチモーダル特徴融合;特徴強化