画像の構造特徴を利用した画像修復は、近年の深層学習技術の広範な応用の背景で登場した新しい手法です。この方法は欠損領域内に合理的な内容を生成できますが、画像修復の結果は画像構造から抽出された内容に過度に依存しており、実際の訓練では誤りの持続的な伝播と蓄積が発生します。画像構造にノイズや歪みがあると、画像生成の品質に直接影響を与えます。本方法は探索的応用段階にあり、ネットワークの訓練困難性、ロバスト性の低さ、生成画像の文脈的意味の不一致などの問題があります。これに対し、本論文では画像平滑構造を指導情報とした並列ネットワーク構造を提案します。画像平滑構造の生成内容は次階層のネットワークの入力として直接使用されず、ネットワークのデコーダ層にガイド情報を提供します。同時に、構造と画像間の特徴関係をより良くマッチング・均衡させるために、本論文ではトランスフォーマーを組み合わせたマルチスケール特徴指導モジュールを提案します。本モジュールはトランスフォーマーの強力なグローバル特徴モデリング能力を利用して、構造と画像テクスチャ間の特徴をマッチング・均衡させます。実験結果は、提案手法が三つの一般的なデータセットで画像の欠損内容を効果的に復元でき、目標物の除去を実現する画像編集ツールとしても利用可能であることを示しています。

画像修復; 深層学習; 平滑構造; トランスフォーマー