자동 주행 환경 인식과 같은 애플리케이션 시나리오에서 알고리즘의 정확성과 실시간성에 대한 엄격한 요구를 충족하기 위해, 의미 분할 모델의 정확도와 추론 속도 사이의 균형을 효과적으로 맞추는 삼중 분기 네트워크 기반 실시간 이미지 의미 분할 알고리즘을 제안한다. PIDNet 알고리즘을 참고하여 삼중 분기 네트워크 구조를 설계하였으며, 각각 이미지의 세부 정보, 의미적 컨텍스트 정보, 경계 정보를 추출하는 데 사용된다. 의미 분기에는 다양한 크기의 컨텍스트 정보를 획득하고 네트워크 특징 수용 영역을 확장하는 효율적인 피라미드 풀링 모듈을 설계하였다. 세부 분기와 경계 분기에는 추출된 특징을 강화하기 위한 가볍고 효율적인 다중 스케일 채널 상호작용 주의 모듈을 설계하였다. 마지막으로 세 분기에서 추출된 이미지 특징을 융합하여 최종 의미 분할 결과를 출력한다. 실험 결과, 제안된 삼중 분기 네트워크 기반 실시간 이미지 의미 분할 알고리즘은 Cityscapes 데이터셋에서 79.2% mIoU 및 88.5 프레임/s의 실시간 의미 분할 성능을 달성하였고, CamVid 데이터셋에서는 80.5% mIoU 및 140.1 프레임/s의 실시간 의미 분할 성능을 보였다. 본 논문에서 제안한 알고리즘은 이미지 의미 분할 작업을 효율적으로 수행할 수 있으며, 실시간성과 정확성 측면에서 뛰어난 균형을 이루며, 세맨틱 분할 성능이 기존 기준 방법보다 현저히 우수하다.

의미 분할;딥러닝;실시간성;주의 메커니즘;다중 스케일 특징