RGBTターゲットトラッキングは、照明や遮蔽に影響されにくく、非常に高いロバスト性を持つため、ビデオ監視や自動運転などの分野で広く応用されています。赤外画像と可視光画像に共通するチャレンジ属性を活用し、2つのモダリティ情報を十分に相互作用させることで、トラッキング過程で発生するいくつかの一般的な不利なシナリオの影響を克服できる効果的なトラッキングネットワークを構築しました。このネットワークは、特殊属性融合モジュール、共通属性融合モジュール、およびクロスモダリティインタラクションモジュールの3部分で構成されており、特殊属性融合モジュールはネットワークが2つのモダリティそれぞれに特有のチャレンジ属性情報を抽出し、異なるモダリティ情報の利点を十分に活用できるようにし、共通属性融合モジュールはターゲットトラッキングにおいて両方のモダリティにマッチする属性から特徴を抽出し、情報を適応的に集約し、各共通チャレンジ属性に対応する重みを割り当ててトラッカーの適応性を強化し、モダリティインタラクションモジュールは赤外画像と可視光画像間でモダリティインタラクションを行い、2つの特定モダリティ情報に共通のモダリティ情報を融合してネットワークのロバスト性を高めます。異なるモダリティの情報損失の異種問題に対応して、損失関数を最適化し、各モダリティへの注意を強化し、ネットワークの収束速度を加速しました。このネットワークはGTOT、RGBT234、LasHerデータセットでテストされ、RGBT234データセットで84.1％の精度と57.3％の成功率、LasHerデータセットで52.3％の精度と39.1％の成功率を達成しました。結果はトラッカーが良好な性能を達成したことを示し、本手法の有効性を証明しています。

ターゲットトラッキング; 熱赤外線トラッキング; チャレンジ属性; モダリティインタラクション