비쌍 학습 샘플 조건 하 적외선 영상 생성

CAI Wei ,  

JIANG Bo ,  

JIANG Xinhao ,  

YANG Zhiyong ,  

摘要

실제 적외선 영상 데이터셋 구축의 어려움과 높은 테스트 비용 문제를 해결하기 위해 본 논문에서는 비쌍으로 된 학습 샘플 조건 하에서 작동하는 생성적 적대 신경망(VTIGAN)을 제안하여 다양한 장면에서 가시광선을 적외선(Visible-to-Infrared, VTI)으로 고품질 이미지 변환을 실현하였다. VTIGAN은 트랜스포머 모듈을 기반으로 새로운 생성기를 도입하여 이미지 콘텐츠 매핑 관계를 학습하고, 목표 스타일 특성의 재구성을 통해 이미지 스타일 변환을 수행한다. 동시에 PathGAN을 판별기로 사용하여 모델의 이미지 세부 정보 생성 능력을 강화한다. 마지막으로 적대 손실, 다층 비교 손실, 스타일 유사성 손실, 동일성 손실 등 네 가지 손실 함수를 함께 사용하여 모델 학습 과정을 제약한다. VTIGAN은 가시광선-적외선 데이터셋에서 다른 주류 알고리즘과 광범위한 비교 실험을 수행하였으며, 피크 신호대잡음비(PSNR), 구조적 유사도(SSIM), 프레셰 인셉션 거리(FID) 세 가지 평가 지표를 활용하여 정량적 평가와 주관적 정성 평가를 수행하였다. 실험 결과 VTIGAN은 차선의 UGATIT 알고리즘 대비 PSNR, SSIM, FID 세 지표에서 각각 3.1%, 2.8%, 11.3% 향상된 성능을 보였으며, 비쌍 학습 샘플 조건 하에서 가시광선에서 적외선으로의 이미지 변환을 효과적으로 구현하였고, 복잡한 장면에서의 내외란 성능도 뛰어나며 생성된 적외선 영상은 선명하고 디테일이 완전하며 사실감이 강하다.

关键词

영상 처리;적외선 영상 시뮬레이션;영상 스타일 변환;생성적 적대 신경망;트랜스포머

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website