既存の指示表現セグメンテーション手法は、マルチモーダルな細粒度理解のアライメントおよびテキスト情報の効率的利用に関して顕著な課題があり、主に視覚特徴の空間的冗長性と意味的曖昧性、言語記述の指示的曖昧性と語彙レベルの意味の無視、融合モジュールがテキスト情報を十分に活用できていないことに起因する。本論文では、これらの問題に対処するために、双方向特徴調制およびテキスト誘導逐次融合を用いた細粒度指示表現セグメンテーション手法を提案する。事前学習済みのBEIT3を画像・テキストエンコーダーとして採用し、双方向特徴調制モジュールを設計することで、テキストが視覚的調制を誘導し視覚空間の冗長特徴をフィルタリングし、視覚がテキスト調制を誘導して無関係語の重みを低減する。本手法ではさらに、テキスト誘導逐次融合モジュールを設計し、多層のクロスモーダルアテンションを用いてテキスト特徴と画像の高次意味特徴を段階的に融合し、多層パーセプトロンによりセグメンテーションマスクを得る。実験により、本手法は3つの代表的な指示表現セグメンテーションデータセットにおいて精度の大幅な向上を示した。特にRefCOCOの3つのサブセットで77.12%、79.46%、73.45%、RefCOCO+の3つのサブセットで69.72%、72.86%、62.42%、RefCOCOgの2つのサブセットで69.12%、69.58%の精度を達成した。本手法は優れた一般化能力と細粒度のマルチモーダル理解アライメント能力を持ち、安定した指示表現セグメンテーションタスクの実現が可能である。

指示表現セグメンテーション; マルチモーダルアライメント; 双方向特徴調制; テキスト誘導逐次融合; 細粒度理解