動画説明における連鎖的意味生成ネットワーク

MAO Lin ,  

GAO Hang ,  

YANG Dawei ,  

ZHANG Rubo ,  

摘要

動画説明における意味特徴表現能力不足によるテキスト記述の不正確さの問題に対処するため、本稿では動画説明における連鎖的意味生成ネットワーク(Chained Semantic generation Network、ChainS-Net)を提案する。グローバル領域およびローカル領域モジュールを基本単位とする多段階双方向交差連鎖特徴抽出構造を構築し、視覚特徴のグローバルおよびローカルから動画の意味を捉える;ネットワークの各段階で意味情報をグローバル領域とローカル領域間で変換・解析し、視覚情報と意味情報の相互参照を実現して意味特徴表現能力を向上させる;これに基づき、ネットワークは多段階反復処理によりより効果的な意味表現を獲得し、動画説明モデルの性能を向上させる。MSR-VTTおよびMSVDデータセットでの実験結果は、本稿で提案した連鎖的意味生成ネットワークChainS-Netが既存の同種手法を上回り、意味支援動画説明ネットワーク(Semantics-Assisted Video Captioning network、SAVC)と比較して動画説明の4つの評価指標が平均2.5%向上したことを示している。

关键词

動画説明;意味特徴;グローバル;ローカル;領域変換;多段階

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website