既存のクロスモーダル人物再識別手法は、赤外線画像と可視光画像間の大きなモーダル差を効果的に対処するのが難しく、特徴のアライメント困難や識別能力不足という課題に直面しており、認識性能を深刻に制限している。これらの課題に対して、本稿では特徴の内在的関連性の強化と周波数領域に潜む情報の掘り起こしの観点から、関係モデリングとスペクトル変換を用いたクロスモーダル人物再識別手法を提案する。まず、局所特徴のセマンティックアライメント困難問題に対して、パッチ関係モデリング構造および自己注意機構を導入し、モダリティ内の局所特徴の関連性を強化して、より密接な文脈情報を構築する。次に、単一スケール特徴情報の不足という制約を克服するために、多尺度特徴強化モジュールを設計し、多粒度認知によりネットワークの人物の微細差異を捉える能力を向上させる。最後に、チャネルスペクトル変換プロセスを設計し、周波数観点から特徴抽出過程における潜在するスペクトル情報をさらに掘り起こす。実験結果は、提案手法がSYSU-MM01データセット全探索モードでのRank-1およびmAPでそれぞれ84.8％および81.5％、RegDBデータセットでそれぞれ92.6％および87.1％、LLCMデータセットでそれぞれ58.0％および64.5％を達成していることを示している。この結果は、すべての指標で現行の主流手法を上回り、提案手法の有効性と優位性を十分に実証している。

人物再識別;クロスモーダル;画像と言語の相互作用;チャネルスペクトル;注意機構