自動運転環境認識などのアプリケーションシナリオにおけるアルゴリズムの精度とリアルタイム性に対する厳しい要求に対応するために、意味的セグメンテーションモデルの精度と推論速度のバランスを効果的に取る三枝ネットワークに基づくリアルタイム画像意味セグメンテーションアルゴリズムを提案する。PIDNetアルゴリズムを参考に三枝ネットワーク構造を設計し、それぞれ画像の詳細情報、意味的コンテキスト情報、エッジ情報を抽出するために使用する。意味枝には異なるスケールのコンテキスト情報を取得し、ネットワーク特徴の受容野を拡大する効率的なピラミッドプーリングモジュールを設計している。詳細枝とエッジ枝には、抽出された特徴を強化するための軽量で効率的なマルチスケールチャネルインタラクション注意モジュールを設計した。最後に、上記三枝で抽出した画像特徴を融合して最終的な意味セグメンテーション結果を出力する。実験結果により、提案する三枝ネットワークに基づくリアルタイム画像意味セグメンテーションアルゴリズムは、Cityscapesデータセットにおいて79.2％ mIoUおよび88.5フレーム/sのリアルタイム意味セグメンテーション性能を達成し、CamVidデータセットにおいても80.5％ mIoUおよび140.1フレーム/sのリアルタイム意味セグメンテーション性能を示した。本稿で提案したアルゴリズムは、画像意味セグメンテーションタスクを効率的に実現でき、リアルタイム性と精度の面で優れたバランスを有し、意味セグメンテーション性能は既存のベンチマーク手法を大幅に上回っている。

意味セグメンテーション;深層学習;リアルタイム;注意機構;マルチスケール特徴