소리는 물체의 고유 속성 중 하나로서 목표 탐지에 유용한 정보를 제공할 수 있습니다. 현재 환경 소리만 모니터링하여 목표 위치를 파악하는 방법은 견고성이 낮아 이 문제를 해결하기 위해 다중 모달 자기 지도 목표 탐지 네트워크에서 교차 단계 특성 지식 전송 방식을 제안했습니다. 먼저 교사 네트워크와 학생 네트워크의 동일 단계 특성 간 학습 능력 제한 문제를 해결하기 위해 주의 융합 기반 다중 교사 교차 단계 특성 지식 전송 손실을 설계하였으며, 학생의 깊은 층과 얕은 층 특성을 주의 융합 방식으로 융합하여 교사의 중간 층 특성을 보다 효율적으로 학습하여 더 많은 지식을 추출하고 KL 발산을 결합하여 교사와 학생 네트워크 중간 층 특성 정렬을 실현하였습니다. 또한 위치 정보 누락 문제를 해결하기 위해 위치 증류 손실을 추가하였으며, 학생의 경계 상자 분포가 교사의 경계 상자 분포를 모방하도록 하여 더 많은 위치 정보를 획득합니다. 다중 모달 시청각 MAVD 데이터셋에서 네트워크를 훈련시켰으며, 이 네트워크는 IOU 값 0.5, 0.75 및 평균에서 mAP 값이 기준 네트워크보다 각각 6.71%, 14.36% 및 10.32% 향상되었습니다. 실험 결과는 이 탐지 네트워크의 우수성을 입증하였습니다.

다중 모달; 지식 증류; 목표 탐지; 자기 지도; 딥 러닝