高価なハイパースペクトルイメージング装置の普及が難しいという問題に対処するために、入手しやすいRGB画像から高品質なハイパースペクトル画像を再構築する深層学習ネットワークを利用した。提案したRes2-Unet深層学習ネットワークはUnetフレームワークを基盤とし、Res2Netを主要モジュールとして骨格ネットワークを構築し、より細かい粒度で局所的および全体的な画像特徴を抽出できる。チャネル注意メカニズムを導入し、チャネル特徴の応答を適応的に調整し、エンコーダとデコーダ間のスキップ接続により異なるスケールと深さの情報を十分に融合する。最後に、2020年の画像復元・強化新潮流国際チャレンジで提供されたデータセットで学習およびテストを行った。実験結果は、適応的重み付き注意メカニズムネットワークや階層的回帰ネットワークと比較して、平均相対絶対誤差、二乗平均平方根誤差、ピーク信号対雑音比、平均スペクトル角など4つの客観評価指標で最良の結果を得たことを示している。クリーントラックでは平均ピーク信号対雑音比がそれぞれ0.08 dBと1.73 dB向上し、リアルワールドトラックではそれぞれ0.72 dBと0.97 dB向上した。ハイパースペクトル参照画像と再構築画像を比較すると、画像の低周波平坦領域および高周波テクスチャ領域のいずれにおいても、提案手法は優れた主観的視覚効果を得ている。

深層学習;ハイパースペクトル画像;画像再構築;Res2Net;チャネル注意メカニズム