低照度条件下における赤外線画像と可視光画像の融合において、照明を無視したことによりテクスチャの詳細が不鮮明で視覚的認識が低い問題に対し、本論文では低照度強調およびセマンティック注入型の多尺度赤外線と可視光画像融合手法を提案する。まず、残差モデルを繰り返し適用して夜間シーンにおける可視光画像を強調するための低照度強調適合ネットワークを設計した。次に、Nestアーキテクチャに基づく特徴抽出器をネットワークのエンコーダおよびデコーダとして用い、深層特徴が画像の複雑な構造とセマンティック情報を捉えられるように、セマンティックプライオリティ学習モジュールを設計し、クロスアテンションを用いて深層赤外線および可視光画像のセマンティック情報をさらに抽出し、セマンティック注入ユニットを用いて強調特徴を各スケールに段階的に注入した。次に、勾配強調ブランチを設計し、主流特徴がまず混合アテンションを通り、Sobel演算子フローとLaplacian演算子フローに分岐して融合画像の勾配を強化した。最後に、デコーダ内の同一層間の密接な接続および異なる層間のスキップ接続を介して各スケール特徴を再構築した。実験結果は、本手法が視覚情報忠実度、相互情報量、差異相関係数および空間周波数で、9つの対比手法と比較してそれぞれ平均23.1％、16.3％、18％、39.8％向上し、低照度環境下での融合画像の品質を効果的に向上させ、高度な視覚タスクの性能向上に寄与することを示した。

赤外線と可視光画像融合;多尺度融合ネットワーク;低照度強調;クロスアテンション;セマンティック注入