自動運転環境認識などの応用シナリオにおけるアルゴリズムの精度とリアルタイム性の厳しい要求に対応するため、セマンティックセグメンテーションモデルの精度と推論速度を効果的にバランスさせるために、三分岐ネットワークに基づくリアルタイム画像セマンティックセグメンテーションアルゴリズムを提案する。PIDNetアルゴリズムに着想を得て、三分岐ネットワーク構造を設計し、それぞれ画像の詳細情報、セマンティックコンテキスト情報、エッジ情報を抽出する。セマンティックブランチには高効率なピラミッドプーリングモジュールを設計し、異なるスケールのコンテキスト情報を取得するとともにネットワーク特徴の受容野を拡大する。ディテールブランチとエッジブランチには軽量かつ効率的なマルチスケールチャネル相互注意モジュールを設計し、抽出した特徴を強化する。最後に、上述の三分岐で抽出した画像特徴を融合し、最終的なセマンティックセグメンテーション結果を出力する。実験結果より、提案した三分岐ネットワークに基づくリアルタイム画像セマンティックセグメンテーションアルゴリズムはCityscapesデータセットで79.2% mIoUおよび88.5 frame/sのリアルタイムセマンティックセグメンテーション性能を達成し、CamVidデータセットで80.5% mIoUおよび140.1 frame/sのリアルタイムセマンティックセグメンテーション性能を達成した。本稿で提案したアルゴリズムは画像セマンティックセグメンテーションタスクを効率的に実行でき、リアルタイム性と精度の両面で優れたバランスを実現し、既存のベンチマーク手法よりもセマンティックセグメンテーション性能が著しく優れている。

セマンティックセグメンテーション;深層学習;リアルタイム;注意機構;マルチスケール特徴