Обнаружение ключевых точек нижних конечностей человека на основе слияния многомасштабных признаков

XIA Xiaohua ,  

XIANG Haoming ,  

CHEN Jian ,  

FENG Xinmiao ,  

QIU Fabo ,  

WANG Yaoyao ,  

摘要

Существующие модели определения ключевых точек человеческого тела недостаточно учитывают высокое разрешение признаков. Используемые в обучении наборы данных имеют низкое разрешение и значительные ошибки аннотаций, что приводит к нестабильным результатам и низкой точности локализации в задачах анализа походки. Для решения этих проблем предложена модель обнаружения ключевых точек нижних конечностей на основе слияния многомасштабных признаков, которая использует изображения высокого разрешения в качестве входных данных. С помощью донастройки сети MobileNet v1 в сочетании с механизмом внимания извлекаются глобальные признаки низкого разрешения, предварительно предсказываются позиции ключевых точек, параллельно с этим с помощью поверхностной сети извлекаются локальные признаки высокого разрешения. Затем применяется последовательная структура остаточных связей и механизм внимания для объединения признаков разных разрешений, что повышает точность предсказания и эффективно снижает вычислительную нагрузку, вызванную изображениями высокого разрешения. Для обеспечения точности обучения модели создан набор данных ключевых точек нижних конечностей с высоким разрешением и точностью методом предварительной разметки. В качестве критериев оценки использованы сложность модели, скорость обнаружения, точность и ошибка обнаружения. Эксперименты показали, что предложенная модель достигла тестового показателя обнаружения 95,2%, превосходя Lightweight-OpenPose, HRNet-W32, HRNet-W48, YOLO-Pose, RTMPose и SimCC, повысив точность обнаружения на 4,1%–83,6% и ускорение (FPS) на 7,6–13,9. Это подтверждает эффективность предлагаемой модели для высокоточного обнаружения ключевых точек нижних конечностей человека.

关键词

обнаружение ключевых точек нижних конечностей человека; слияние многомасштабных признаков; механизм внимания; предварительная разметка

阅读全文