Для решения проблем размытия текстуры, искажений структуры и артефактов на границах при восстановлении сильно поврежденных изображений лиц, улиц, зданий и т.д. в данной статье предлагается метод восстановления больших повреждений изображений под названием SPMRA-Net. Во-первых, разработан модуль динамического адаптивного многоуровневого масштабирования (Dynamic Adaptive Multi-scale, DAM), который с помощью дилатационных сверток и остаточных блоков усиливает способность модели к восприятию контекста; затем построен узловой модуль, состоящий из путей Transformer и согласованного семантического внимания, который посредством механизма кросс-аттеншна объединяет глобальную семантическую информацию пути Transformer с локальной текстурной информацией пути самовнимания, эффективно подавляя искажения структуры при больших повреждениях; далее для смягчения семантического разрыва, возникающего из-за простого объединения при традиционных пропусках, введен модуль адаптивного многоуровневого агрегации (Adaptive Multi-scale Aggregation, AMSA), повышающий взаимодействие глубоких и поверхностных признаков и обеспечивающий непрерывность границ восстановленного изображения. Наконец, введены двойные дискриминаторы для согласовательной оценки восстановленных результатов с оригинальными изображениями, что повышает реалистичность генерируемых изображений с точки зрения визуального восприятия. Экспериментальные результаты показывают, что модель увеличивает PSNR на 3.06 дБ, SSIM на 0.087 и снижает LPIPS на 0.078 на наборе данных CelebA. Субъективные оценки на наборах Paris StreetView и Places2, а также приведённые объективные метрики превосходят сравниваемые алгоритмы. Метод демонстрирует улучшение как в структурной согласованности, так и в восприятии, подтверждая его эффективность при восстановлении изображений с большими повреждениями.

глубокое обучение;восстановление изображений;генеративные состязательные сети;многоуровневые остатки;структурный приоритет;Transformer