Estimativa monocular de profundidade auto-supervisionada para ambientes internos baseada em fusão hierárquica de características

CHENG Deqiang ,  

ZHANG Huaqiang ,  

KOU Qiqi ,  

LÜ Chen ,  

QIAN Jiansheng ,  

摘要

Devido aos problemas existentes nas redes de estimativa de profundidade monocular auto-supervisionadas em cenas internas complexas, repletas de áreas de baixa textura e baixa iluminação, como a previsão imprecisa das informações de profundidade, bordas de objetos borradas e perda severa de detalhes, este artigo propõe um modelo de rede de estimativa de profundidade monocular auto-supervisionada baseado na fusão hierárquica de características. Primeiramente, as imagens internas são processadas por um módulo de aumento de imagem com consistência de mapeamento para melhorar a visibilidade em áreas de baixa iluminação, mantendo a consistência de brilho e enriquecendo os detalhes da textura, resolvendo em certa medida o problema de planos falsos borrados que prejudicam o treinamento da rede. Em seguida, é projetada uma rede de estimativa de profundidade que combina um módulo de ajuste de características entre níveis baseado em um mecanismo de atenção, para fundir completamente as informações de múltiplos níveis das camadas do codificador e decodificador, aprimorando a capacidade de utilização das características pela rede e reduzindo a disparidade semântica entre a profundidade prevista e a real. Por fim, uma função de perda de similaridade de matriz de Gram baseada nas características de estilo da imagem é desenvolvida como um sinal auto-supervisionado adicional para restringir o modelo de rede, melhorando a capacidade preditiva e a precisão da profundidade. O treinamento e teste foram realizados nos conjuntos de dados internos NYU Depth V2 e ScanNet, com proporções de pixels de profundidade corretamente previstos de 81,9% e 76,0%, respectivamente. Os resultados experimentais demonstram que este modelo mantém bem as bordas e detalhes dos objetos, aumentando efetivamente a precisão da estimativa de profundidade em comparação com as principais redes monoculares auto-supervisionadas existentes.

关键词

auto-supervisão;estimativa monocular de profundidade;aumento de imagem;fusão hierárquica de características;média de Gram

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website