마스크 생성 동적 조절 약지도 비디오 인스턴스 분할

HE Zifen ,  

XU Lin ,  

ZHANG Yinhui ,  

HUANG Ying ,  

摘要

완전 감독 비디오 인스턴스 분할 네트워크 훈련 데이터가 정밀한 마스크 라벨에 크게 의존하여 시간과 인력 비용이 과도하게 발생하고, 이로 인해 지능형 기계가 새로운 장면에 신속하게 적응하지 못하는 문제를 해결하기 위해 엔드 투 엔드 마스크 생성 동적 조절 약지도 비디오 인스턴스 분할(Weakly Supervised Video Instance Segmentation, WSVIS) 네트워크를 제안한다. 초기 마스크 예측 층의 채널 차원이 급격히 감소하여 인스턴스 활성화 특징이 손실되는 문제를 극복하기 위해 다단계 특징 융합 모듈을 구축하고, 특징 재사용 전략을 활용해 초기 인스턴스 특징을 예측하며 상대 위치 정보를 융합하여 초기 예측 마스크를 생성한다. 이후 채널 및 공간 차원에서 마스크 특징 의존 관계를 구축하는 동적 조절 메커니즘을 제안하여 초기 예측 마스크와 인스턴스 인지 정보 간의 동적 상호작용을 강화한다. 마지막으로, 네트워크는 정밀 마스크 라벨 대신 이진 색상 유사성을 기반으로 한 가짜 친화 라벨을 생성하도록 설계되었으며, 경계 상자와 마스크 일관성 손실을 결합하여 경계 상자 라벨만으로 약지도 비디오 인스턴스 분할을 구현한다. 실험 결과, BoxSet 및 YT-VIS 데이터셋에서 WSVIS 네트워크가 완전 감독 네트워크와 유사한 분할 정밀도와 성능을 달성하면서 실시간 추론 요구 사항도 충족함을 보여, 지능형 기계가 새로운 장면에 신속히 적응하여 실시간 환경 인지와 이해를 구현하는 데 이론적 및 알고리즘적 근거를 제공한다.

关键词

지능형 기계;약지도 비디오 인스턴스 분할;다단계 특징 융합;동적 조절;이진 색상 유사성

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website