現在の赤外線と可視光モードの融合に基づく歩行者検出手法が外部環境の変化に適応しにくい問題に対し、多モード情報融合の重み学習に基づく歩行者検出ネットワークを提案する。まず、多くの研究で採用されている二つのモードの直接スタック融合手法と異なり、重み学習融合ネットワークは異なる環境条件下での歩行者検出タスクに対する二つのモードの異なる寄与度を、二重ストリームの相互学習を通じて考慮する。次に、各モード特徴の現在の特性に応じて、それぞれのモード特徴の重みを自律的に獲得し、加重融合により融合特徴を得る。最後に、融合特徴に基づいて新しい特徴ピラミッドを生成し、歩行者の事前情報を豊かにするためにアンカーボックスのサイズと密度を変更して歩行者検出タスクを完遂する。実験結果は、Kaistの多波長歩行者検出データセットにおいて平均漏検率26.96%を達成し、現行の直接スタック融合最良法およびベースライン法と比較して、それぞれ2.77%および27.84%低減したことを示している。したがって、赤外線と可視光の二つのモード情報の適応的な重み融合は、環境変化に適応するための補完的なモード情報を効果的に得られ、歩行者検出性能を大幅に向上させることができる。

歩行者検出;多モード情報;重み学習;適応融合;深層学習