ハイパースペクトルイメージング技術の急速な発展は、非侵襲性医療画像に新たな機会をもたらしたが、ハイパースペクトル医療画像は高次元性、高い冗長性、および「スペクトルと画像の統合」という特徴を持ち、これらの特徴に対応した知能的診断アルゴリズムの設計が急務である。近年、Transformerはハイパースペクトル医療画像処理分野で広く応用されている。しかし、異なる機器や異なる収集操作によって得られたハイパースペクトル医療画像は大きく異なり、既存のTransformer診断モデルの実用化に大きな課題をもたらしている。これらの問題に対応するため、本論文では空間-スペクトル自己注意Transformer（S³AT）を提案し、画素間および波長帯間の内在的関係を適応的に抽出し、分類段階で複数の視野における予測結果を融合する。まず、Transformerエンコーダにおいて空間-スペクトル自己注意機構を設計し、異なる視野におけるハイパースペクトル画像の重要な空間情報と重要な波長帯を取得し、得られた空間-スペクトル自己注意を融合する。次に、モデルの分類段階で、異なる視野の予測結果を学習可能な重みに基づいて加重融合し、画像を総合的に予測する。In-vivo Human Brain および BloodCell HSI の2つのデータセットで、本手法の総合分類精度はそれぞれ82.25％および91.74％を達成した。実験結果は、提案手法がハイパースペクトル医療画像の分類性能を効果的に向上させることを示している。

ハイパースペクトル医療画像;Transformer;空間-スペクトル自己注意;予測融合