多モーダル特徴融合RGB-Tターゲット追跡ネットワーク

JIN Jing ,  

LIU Jianqin ,  

ZHAI Fengwen ,  

摘要

近年、RGB-T追跡手法は可視光と熱赤外画像の補完的特性により、視覚追跡分野で広く応用されています。しかし、既存の手法はモーダル間の補完情報利用に限界があり、特にTransformerベースのアルゴリズムはモーダル間の直接的な相互作用が不足しており、RGBとTIRモードの意味情報を十分に抽出することが困難です。これらの問題に対処するため、多モーダル特徴融合RGB-Tターゲット追跡ネットワーク(Multi-Modal Feature Fusion Tracking Network for RGB-T、MMFFTN)を提案しました。本ネットワークはバックボーンネットワークで初期特徴を抽出した後、チャネル特徴融合モジュール(Channel Feature Fusion Module、CFFM)を導入し、RGBとTIRチャネル特徴の直接的な相互作用と融合を実現します。次に、RGBとTIRモードの差異により融合効果が不十分となる問題に対処するため、適応的融合戦略を用いてRGBとTIRの全局的特徴をさらに融合するクロスモーダル特徴融合モジュール(Cross-Modal Feature Fusion Module、CMFM)を設計しました。本論文で提案した追跡モデルはGTOT、RGBT234、LasHeRの3つのデータセットで詳細な実験評価を実施しました。実験結果は、最新のTransformerベース追跡器ViPTと比較して、MMFFTNが成功率(Success Rate)と精度(Precision Rate)をそれぞれ3.0%と4.7%向上させ、Transformerベース追跡器SDSTrackと比較して成功率と精度をそれぞれ2.4%と3.3%向上させたことを示しています。

关键词

RGB-Tターゲット追跡;Transformer;チャネル特徴融合;クロスモーダル特徴融合

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website