Para aproveitar as informações de imagem para auxiliar os dados de nuvem de pontos a melhorar a precisão da detecção de objetos 3D, é necessário resolver o problema do alinhamento adaptativo e da fusão dos espaços de características de imagem e nuvem de pontos. Este artigo propõe uma rede de aprendizado profundo para detecção de objetos 3D com fusão adaptativa multimodal de características. Primeiro, os dados da nuvem de pontos são voxelizados, aprende-se a representação das características dos voxels com base nas características pontuais dentro dos voxels, obtêm-se as características dos dados da nuvem de pontos usando uma rede neural convolucional 3D esparsa, enquanto as características da imagem são extraídas usando uma rede ResNet. Em seguida, através da introdução de um módulo de atenção mútua, alinha-se adaptativamente as características da imagem e da nuvem de pontos para obter características da nuvem de pontos reforçadas com base nas características da imagem. Por fim, com base nessas características, aplica-se uma rede de proposta de região e uma rede de aprendizado multitarefa de classificação e regressão para realizar a detecção de objetos 3D. Os resultados experimentais no conjunto de dados KITTI de detecção de objetos 3D mostram que a precisão média de detecção para níveis fácil, médio e difícil de dificuldade na detecção de carros é de 88,76%, 77,63% e 76,14%, respectivamente. Este método pode fundir eficazmente as informações de imagem e dados de nuvem de pontos, melhorando a precisão da detecção de objetos 3D.

Detecção 3D de objetos; aprendizado profundo; dados de nuvem de pontos; dados de imagem; mecanismo de atenção