Внутреннее самоконтролируемое однотональное оценивание глубины на основе иерархического слияния признаков

CHENG Deqiang ,  

ZHANG Huaqiang ,  

KOU Qiqi ,  

LÜ Chen ,  

QIAN Jiansheng ,  

摘要

В данной статье предложена модель сети внутреннего самоконтролируемого однотонального оценки глубины на основе иерархического слияния признаков для решения проблем неточной оценки глубины, размытых границ объектов и серьезной потери деталей в сложных внутренних сценах с большим количеством областей с низкой текстурой и низкой освещенностью. Во-первых, через модуль согласованного картографического улучшения изображения обрабатываются внутренние изображения для повышения видимости в зонах с низкой освещенностью при сохранении согласованности яркости и обогащения текстурных деталей, что в некоторой степени решает проблему размытия ложных плоскостей, ухудшающих модель во время обучения. Затем разработана сеть оценки глубины с использованием механизма внимания для межслойной корректировки признаков, которая полноценно объединяет многоуровневую информацию кодировщика и кодировщика-декодировщика, улучшая использование признаков и уменьшая семантический разрыв между предсказанной и истинной глубиной. Наконец, разработана функция потерь, основанная на сходстве матриц Грама стиля изображения, как дополнительный сигнал самоконтроля для ограничения модели, что повышает способность сети к прогнозированию глубины и улучшает точность предсказаний. Обучение и тестирование проведены на внутренних наборах данных NYU Depth V2 и ScanNet, где доля правильно предсказанных пикселей глубины достигла 81,9% и 76,0% соответственно. Экспериментальные результаты показывают, что данная модель сети значительно лучше сохраняет границы объектов и детализацию по сравнению с существующими основными сетями однотональной оценки внутренней глубины с самоконтролем, эффективно повышая точность предсказаний глубины.

关键词

самоконтроль;однотональная оценка глубины;улучшение изображения;иерархическое слияние признаков;матрица Грама

阅读全文