既存のVision Transformer（ViT）に基づく画像レベルの弱教師ありセマンティックセグメンテーション手法は、主にセルフアテンション機構に依存して限られたセマンティック情報を抽出しており、多次元の特徴関係を十分に活用できず、ターゲット領域の認識が粗雑になる傾向がある。これに対して、時間的・空間的対比学習に駆動される弱教師あり画像セマンティックセグメンテーションネットワーク（Spatio-temporal Contrastive Learning、STCL）を提案し、時間および空間の観点から監督情報を掘り起こし、セグメンテーション精度の向上を目指す。ViTのトークン機構を通じて空間特徴対比学習モジュールを導入し、パッチレベルトークンとクラスレベルトークンの対比戦略を組み合わせて、画像空間に潜むセマンティック特徴の関係性を深く探求する。時間的文脈対比学習モジュールを設計し、メモリバンクを構築することで過去の画像セグメンテーションの先行知識を活用し、現在のセマンティックセグメンテーションタスクを導き、メモリバンクの更新戦略および適応的メモリ対比損失を確立してモデルの細部領域識別能力をさらに向上させた。実験結果は、PASCAL VOCおよびMS COCOデータセットにおいて平均IoUがそれぞれ72.7％および43.6％に達し、提案手法の優位性を示している。

コンピュータビジョン;セマンティックセグメンテーション;弱教師あり学習;クラスアクティベーションマップ;Vision Transformer;対比学習