Estimation monoculaire de profondeur auto-supervisée en intérieur basée sur la fusion hiérarchique des caractéristiques

CHENG Deqiang ,  

ZHANG Huaqiang ,  

KOU Qiqi ,  

LÜ Chen ,  

QIAN Jiansheng ,  

摘要

Face aux problèmes des réseaux d'estimation de profondeur monoculaire auto-supervisés actuels dans des scènes intérieures complexes remplies de nombreuses zones à faible texture et faible luminosité, notamment des prédictions de profondeur imprécises, des bords d'objets flous et une perte sévère de détails, cet article propose un modèle de réseau d'estimation de profondeur monoculaire auto-supervisé basé sur la fusion hiérarchique des caractéristiques. Tout d'abord, un module d'amélioration d'image basé sur la cohérence de la cartographie est utilisé pour traiter les images intérieures, améliorant la visibilité des zones faiblement éclairées tout en maintenant la cohérence de la luminosité et en enrichissant les détails de texture, résolvant en partie le problème de flou des fausses surfaces planes qui aggrave le modèle pendant l'entraînement. Ensuite, un réseau d'estimation de profondeur combinant un module d'ajustement des caractéristiques inter-hiérarchiques basé sur un mécanisme d'attention est conçu, fusionnant pleinement les informations multi-niveaux de l'encodeur et de l'encodeur-décodeur, améliorant l'utilisation des caractéristiques du réseau et réduisant l'écart sémantique entre la profondeur prédite et la profondeur réelle. Enfin, une fonction de perte basée sur la similarité de la matrice de Gram des caractéristiques de style d'image est conçue comme signal d'auto-supervision supplémentaire pour contraindre le modèle, améliorant la capacité du réseau à prédire la profondeur et augmentant encore la précision des prédictions. L'entraînement et le test ont été réalisés sur les ensembles de données intérieurs NYU Depth V2 et ScanNet, où la proportion de pixels à profondeur correctement prédite atteint respectivement 81,9% et 76,0%. Les résultats expérimentaux démontrent que le modèle proposé préserve bien les bords et les détails des objets comparé aux principaux réseaux existants d'estimation de profondeur monoculaire auto-supervisée en intérieur, améliorant efficacement la précision des prédictions de profondeur.

关键词

auto-supervision; estimation monoculaire de profondeur; amélioration d'image; fusion hiérarchique des caractéristiques; matrice de Gram

阅读全文