과학자들이 실험의 핵심 과정을 빠르게 파악하고 보다 자세한 실험 과정 정보를 얻기 위해서는 우주과학 실험에 자동으로 설명 텍스트를 추가할 필요가 있다. 우주과학 실험 대상이 작고 데이터 샘플이 적은 문제를 해결하기 위해 본 논문에서는 다중모달 학습 기반의 우주과학 실험 이미지 설명 알고리즘 모델을 제안한다. 모델은 크게 네 부분으로 나뉜다: 개선된 U-Net 기반의 의미 분할 모델, 의미 분할 기반의 우주과학 실험 용어 후보, 상향식 일반 장면 이미지 특징 벡터 추출, 그리고 다중모달 학습 기반의 설명 문장 생성. 또한 우주과학 실험 대상 데이터셋을 구축하였으며, 의미 마스크 주석과 이미지 설명 주석을 포함하여 우주과학 실험 이미지 설명을 수행한다. 실험 결과, 기존의 이미지 설명 모델 Neuraltalk2에 비해 제안한 알고리즘은 정밀도 평가에서 METEOR 결과가 평균 0.089 향상되었고, SPICE 결과는 평균 0.174 향상되었다; 우주과학 실험 대상이 작고 샘플이 적은 난제를 해결하였으며, 다중모달 학습 기반 우주과학 실험 이미지 설명 모델을 구축하여 우주과학 실험 장면에 대한 전문적이고 정밀한 설명 요구를 충족하고 저수준 인지에서 심층 장면 이해 능력을 실현하였다.

우주과학 실험;이미지 설명;의미 분할;다중모달 학습