上一篇
|
下一篇
SPMRA-Net:结构先验与多尺度残差聚合的大面积破损图像修复
WEI Yun
,
JIA Baixue
,
Feng Dandan
,
ZHANG Zhirui
,
XIN Zihao
,
WU Tongchen
,
DOI:
摘要
针对大面积破损图像在人脸、街景、建筑等修复工程中存在的纹理模糊、结构扭曲与边界伪影的问题,本文提出名为SPMRA-Net的大面积破损图像修复。首先,设计动态自适应多尺度(Dynamic Adaptive Multi-scale, DAM)模块,通过空洞卷积与残差结构增强模型的上下文感知能力;随后,构建由Transformer路径与一致语义注意力路径组成的瓶颈模块,并通过交叉注意力机制将Transformer路径输出的全局语义信息与自注意力路径输出的局部纹理信息融合,有效抑制大面积缺损场景中的结构扭曲;其次,为缓解传统跳跃连接因简单拼接导致的语义鸿沟问题,引入自适应多尺度聚合(Adaptive Multi-scale Aggregation, AMSA)模块提升深层特征与浅层特征的交互能力,保证修复图像的边界连续性。最后,引入双判别器对修复后的结果与原始图像进行一致性评估,以提升生成图像在视觉感知上的真实性。实验结果表明,该模型在CelebA数据集上的PSNR提升3.06 dB,SSIM提升0.087,LPIPS降低0.078。在Paris StreetView,Places2数据集上的主观评价以及上述客观评价指标均优于对比算法。本文方法在结构一致性与感知层面上均取得一定提升,验证其在大面积破损图像修复任务中的有效性。
关键词
深度学习;图像修复;生成对抗网络;多尺度残差;结构先验;Transformer
阅读全文