音は物体の固有の属性の一つとして、ターゲット検出に有益な情報を提供できます。現在、環境音を監視するだけのターゲット位置推定方法はロバスト性が低いため、この問題を解決するために、多段階特徴知識転移に基づくマルチモーダル自己教師ありターゲット検出ネットワークを提案しました。まず、教師ネットワークと生徒ネットワークの同じレベルの特徴間の学習能力が限定的である問題に対して、注意融合に基づく複数教師マルチレベル特徴知識転移損失を設計し、注意融合方式で生徒の深層および浅層特徴を融合し、対応する教師の中間層特徴をより効率的に学習してより多くの知識を抽出し、KLダイバージェンスを組み合わせて教師と生徒ネットワークの中間層特徴の整合を実現しました。さらに、位置情報の欠落問題を解決するために、位置蒸留損失を加え、生徒のバウンディングボックス分布が教師のバウンディングボックス分布を模倣することでより多くの位置情報を取得します。マルチモーダル視聴覚MAVDデータセットでネットワークを訓練し、このネットワークはIOU値0.5、0.75および平均において基準ネットワークに対し、それぞれ6.71％、14.36％および10.32％のmAP値の向上を示しました。実験結果はこの検出ネットワークの優位性を証明しました。

マルチモーダル; 知識蒸留; ターゲット検出; 自己教師あり; 深層学習