既存の視覚変換器（Vision Transformer、ViT）に基づく画像レベルの弱監視セマンティックセグメンテーション手法は、主に自己注意機構に依存して限られたセマンティック情報を抽出しており、多次元特徴関係を十分に活用できていないため、対象領域の認識が粗い。これに対して、時空間対比学習（Spatio-temporal Contrastive Learning、STCL）により駆動される弱監視画像セマンティックセグメンテーションネットワークを提案し、時間と空間の観点から監督情報を掘り下げてセグメンテーション精度を向上させることを目的とする。ViTのトークンメカニズムを通じて、空間特徴対比学習モジュールを導入し、パッチレベルトークンとクラスレベルトークンの対比戦略を組み合わせて、画像空間に潜むセマンティック特徴関係を深く探究する。時間的文脈対比学習モジュールを設計し、メモリバンクを構築して過去の画像セグメンテーションにおける先行知識を活用し、現在のセマンティックセグメンテーションタスクを指導するとともに、メモリバンク更新戦略と適応型メモリ対比損失を確立し、モデルの細部領域識別能力をさらに向上させた。実験結果は、PASCAL VOCおよびMS COCOデータセットにおいて平均IoUがそれぞれ72.7％および43.6％に達し、提案手法の優位性を示している。

コンピュータビジョン;セマンティックセグメンテーション;弱監視学習;クラス活性化マップ;ビジョントランスフォーマー;対比学習