構造的事前情報とマルチスケール残差集約に基づく大規模損傷画像修復

WEI Yun ,  

JIA Baixue ,  

FENG Dandan ,  

ZHANG Zhirui ,  

XIN Zihao ,  

WU Tongchen ,  

摘要

顔、街並み、建築物などの大規模損傷画像の修復において発生するテクスチャのぼやけ、構造の歪み、境界のアーティファクト問題に対し、構造的事前情報とマルチスケール残差集約(Structural Priors and Multi-scale Residual Aggregation、SPMRA-Net)に基づく大規模損傷画像修復手法を提案する。まず、拡張畳み込みと残差構造によりモデルのコンテキスト認識能力を強化する動的適応型マルチスケール(Dynamic Adaptive Multi-scale、DAM)モジュールを設計する。次に、Transformer経路と一貫したセマンティック注意経路から構成されるボトルネックモジュールを構築し、クロスアテンション機構を通じてTransformer経路のグローバルセマンティック情報と自己注意経路のローカルテクスチャ情報を融合し、大規模欠損シーンにおける構造歪みを抑制する。さらに、従来のスキップ接続での単純結合によるセマンティックギャップ問題を緩和するために、動的適応マルチスケール集約(Adaptive Multi-scale Aggregation、AMSA)モジュールを導入し、深層特徴と浅層特徴の相互作用能力を向上させ、修復画像の境界連続性を保証する。最後に、修復結果と原画像の整合性評価のために二重識別器を導入し、生成画像の視覚的リアリティを向上させる。実験結果は、本モデルがCelebAデータセットにおいてPSNRを3.06 dB、SSIMを0.087向上させ、LPIPSを0.078低減させたことを示している。さらにParis StreetView、Places2データセットにおける主観的および客観的評価指標で比較アルゴリズムを上回った。本手法は構造的一貫性と知覚的側面の両面で一定の改善を達成し、大規模損傷画像修復タスクにおける有効性を検証した。

关键词

深層学習;画像修復;生成対抗ネットワーク;マルチスケール残差;構造的事前情報;Transformer

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website