低照度条件下での照明を無視することによる赤外線と可視光画像の融合におけるテクスチャの詳細が不鮮明で、視覚的認知が低下する問題に対して、本論文では低照度増強およびセマンティックインジェクション型の多尺度赤外線および可視光画像融合手法を提案する。まず、残差モデルを繰り返し適用し、夜間シーンにおける可視光画像の増強を実現する低照度増強に適したネットワークを設計した。次に、Nest構造に基づく特徴抽出器をネットワークのエンコーダとデコーダとして採用し、深層特徴が画像の複雑な構造とセマンティック情報を捉えられるようにした。セマンティックプライヤ学習モジュールを設計し、クロスアテンションにより深層の赤外線および可視光画像のセマンティック情報をさらに抽出し、セマンティックインジェクションユニットを用いて強化特徴を段階的に各スケールに注入した。次に、主流特徴が混合アテンションを経て、Sobel演算子フローとLaplacian演算子フローに分岐する勾配強化ブランチを設計し、融合画像の勾配を強化した。最後に、デコーダ内の同層間の密結合および異層間のスキップ接続を通じて各スケール特徴を再構成した。実験結果から、本手法は視覚情報の忠実度、相互情報量、差分相関係数および空間周波数において9つの比較手法に対し、それぞれ平均23.1%、16.3%、18%、39.8%向上させ、低照度環境下での融合画像の品質を効果的に向上させ、高度な視覚タスクの性能向上に寄与することを示した。

赤外線および可視光画像融合;多尺度融合ネットワーク;低照度増強;クロスアテンション;セマンティックインジェクション