画像融合は異なるモダリティ画像の一貫性および補完的特徴を統合し、単一モダリティ画像の細部不足の問題を効果的に補うことができる。既存手法の特徴抽出と融合が独立しており、照明情報の利用不足、複雑な照明環境下での融合効果の低さといった問題に対し、本論文では照明重み配分機構によって導かれる双流層間逐次相互結合型赤外線および可視光画像融合ネットワークを提案する。本ネットワークは層間逐次相互結合戦略を採用し、特徴抽出とクロスモーダル融合を交互に実施する。照明事前分類ネットワークにより、全局的な照明情報を双流ネットワークに埋め込み、照明ムラの影響を緩和する。特徴抽出段階では段階的拡張戦略と軽量な全局コンテキスト情報ブロックを取り入れ、多尺度かつ長距離の意味的関連を実現する。同時に差分特徴と並列二重注意機構を利用してモーダル補完情報の選別強化を行い、照明に応じて融合重みを動的に調整し、単一モダリティの主導を防ぐ。実験結果は、本手法が複数のデータセットで主流手法よりも指標が優れ、MSRSデータセットにおいてMIおよびQ_AB/Fがそれぞれ3.76％および7.86％向上したことを示す。低照度や濃霧など複雑な照明環境下での目標輪郭および細部保持効果も優れている。これにより、本手法が低レベル空間情報と高レベル意味情報の効果的なバランスを実現し、複雑な照明環境における画像融合の精度および視覚効果を大幅に向上させることが示された。

画像融合; 照明重み; 特徴相互作用; マルチスケール; 差分情報