科学者が実験の重要なプロセスを迅速に特定し、より詳細な実験過程情報を得るためには、宇宙科学実験に自動的に記述的なテキスト内容を追加する必要があります。宇宙科学実験の対象が小さく、データサンプルが少ないという問題に対処するために、本研究ではマルチモーダル学習に基づく宇宙科学実験画像記述アルゴリズムモデルを提案します。主に4つの部分に分かれます：改良されたU-Netに基づくセマンティックセグメンテーションモデル、セマンティックセグメンテーションに基づく宇宙科学実験用語候補、ボトムアップの一般シーン画像特徴ベクトル抽出、およびマルチモーダル学習に基づく記述文生成です。さらに、本研究では宇宙科学実験対象のデータセットを構築し、セマンティックマスク注釈と画像説明注釈を含み、宇宙科学実験の画像記述を行います。実験結果は、従来の画像記述モデルNeuraltalk2と比較して、提案アルゴリズムが精度評価でMETEORの結果を平均0.089、SPICEの結果を平均0.174向上させたことを示しています。宇宙科学実験の対象が小さく、サンプルが少ないという課題を解決し、マルチモーダル学習に基づく宇宙科学実験画像記述モデルを構築し、宇宙科学実験シーンに対して専門的かつ正確な記述要求を満たし、低レベルの知覚から深層的なシーン理解能力を実現しました。

宇宙科学実験;画像記述;セマンティックセグメンテーション;マルチモーダル学習