赤外画像と可視光画像の融合において、細部の大幅な喪失、赤外画像の特徴情報が十分に強調されないこと、そして元画像の意味情報が無視される問題に対処するために、二次画像分解に基づく赤外画像と可視光画像の融合ネットワーク（Secondary Image Decomposition For Infrared And Visible Image Fusion、SIDFuse）を提案する。本手法では、エンコーダーを用いて元画像を二次分解し、異なるスケールの特徴情報を抽出し、双要素注意機構により異なるスケールの特徴情報に重みを割り当て、グローバルな意味的枝路を導入する。さらにピクセル加算法を融合戦略として採用し、最後にデコーダーを通じて融合画像を再構築する。実験ではFLIRデータセットを訓練に用い、TNOおよびRoadSceneの2つのデータセットでテストを行い、8種類の画像融合客観評価指標を用いて実験比較分析を行った。TNOデータセットにおける画像融合実験の結果、情報エントロピー、標準偏差、空間周波数、視覚的忠実度、平均勾配、差分相関係数、多層構造類似度、勾配融合性能評価指標において、SIDFuseは畳み込みネットワークに基づく古典的融合アルゴリズムDenseFuseと比較して平均でそれぞれ12.2%、9.0%、90.2%、13.9%、85.1%、16.8%、6.7%、30.7%向上し、最新の融合ネットワークLRRNetと比較しても平均でそれぞれ2.5%、5.6%、31.5%、5.4%、25.2%、17.9%、7.5%、20.7%向上した。提案手法は融合画像のコントラストが高く、可視光画像の詳細なテクスチャと赤外画像の特徴情報を同時により効果的に保持でき、同種の手法の中で明確な優位性を示している。

画像融合;二次画像分解;グローバルな意味的枝路;双要素注意;画像コントラスト