Para resolver o problema da perda de informações de alta frequência na textura da superfície durante o processo de reconstrução dos vetores normais da superfície do objeto no aprendizado profundo de estereoscopia fotométrica, o que causa grandes desvios na precisão da reconstrução, foi proposto uma rede de reconstrução 3D de fusão adaptativa de pesos de múltiplas características em múltiplas camadas (MMF-Net). A rede utiliza principalmente o PS-FCN como modelo base, introduzindo uma estrutura simétrica de codificador-decodificador para aumentar a capacidade de aprendizado e expressão de características da rede, melhorando a integração das características entre diferentes níveis; projetou camadas convolucionais multivariadas com ajuste adaptativo de pesos entre camadas independentes, adicionando pesos treináveis adicionais, considerando tanto informações de forma quanto de textura, e capturando melhor as variações detalhadas da textura da superfície, tornando o desempenho da rede mais estável e preciso em cenários com informações de alta frequência densas; auxiliou na adição de uma estrutura de conexões de salto, conectando características das camadas intermediárias para níveis posteriores, preservando as informações de alta frequência do objeto e reforçando as informações de baixa frequência para realizar a aplicação de fusão de características de alta e baixa frequência. Foram realizados testes utilizando o conjunto de dados padrão DiLiGenT, e os resultados experimentais mostraram que o MMF-Net pode alcançar um MAE médio de 6,94°, melhorando em 6% em comparação com o PS-FCN (Norm) de 7,39°, com erro médio de reconstrução de 11,03° para dois objetos contendo informações de alta frequência, melhorando 12% em comparação com o método anterior FUPS-Net de 12,52%. O MMF-Net realizou a aquisição eficaz de informações de baixa e alta frequência da superfície dos objetos em estereoscopia fotométrica, fornecendo uma referência para reconstrução 3D de alta precisão baseada nos vetores normais da superfície do objeto.

aprendizado profundo;estereoscopia fotométrica;convolução multivariada;fusão de características;peso adaptativo