画像の意味記述過程において、文の記述が十分に正確でないことや感情表現が少ないという問題に対し、SENetに基づく生成対抗ネットワークを用いた画像意味記述法を提案する。本手法は生成器モデルの特徴抽出段階にチャネル注意機構を追加し、ネットワークが画像の顕著領域の特徴をより十分かつ完全に抽出できるようにし、抽出した画像特徴をエンコーダに入力する。原文テキストコーパスに感情コーパスを追加し、自然言語処理により単語ベクトルを生成し、単語ベクトルとエンコードされた画像特徴を組み合わせてデコーダに入力する。継続的な対抗訓練を通じて、該当画像の内容に適した感情的な記述文を生成する。最後にシミュレーション実験と既存手法との比較により、本手法のBLEU指標はSentiCap手法と比較して約15％向上し、他の関連指標も全て改善した。自己対比実験ではCIDEr指標が約3％向上した。本ネットワークは画像特徴を良好に抽出し、画像を記述する文をより正確かつ感情豊かにすることができる。

画像意味記述;生成器モデル;特徴抽出;対抗訓練;チャネル注意