Определение положения человека

Определение положения человека (англ. Human pose estimation) — задача о нахождении и локализации частей тела человека на изображениях или видео. Чаще всего позицией человека называют набор соединённых ключевых точек (англ. Joint), соответствующих суставам (плечи, локти, кисти, тазобедренные суставы, колени, стопы) и другим ключевым точкам (шея, голова, центр торса).

Постановка задачи

Single Person Estimation

Просто разделить части тела одного человека

Исходная картинка

Результат работы алгоритма для одного человека

Multi Person Estimation

Задача намного сложнее т.к. надо еще определять принадлежность частей конкретному человеку

Область применения

1. Кинематограф и анимация — CGI (англ. computer-generated imagery, букв. «изображения, сгенерированные компьютером») и захват движения (англ. Motion capture). Несмотря на то, что в настоящий момент чаще используется маркерный способ, при котором человек надевает костюм с датчиками движения, в последние годы большое развитие получил безмаркерный способ, основанный на компьютерном зрении.
2. Видеоигры — широко применяется в дополненной реальности (англ. Augmented Reality, AR) и виртуальной реальности (англ. Virtual Reality, VR). Захват движения (англ. Motion tracking) также используется в консольных игровых решениях. Помимо этого, определение положения человека необходимо непосредственно в производстве видеоигр, для этого, опять же, используется технология CGI.
3. Человеко-компьютерное взаимодействие (англ. Human-computer interaction) — здесь определение положения человека используется для взаимодействия с роботами или компьютерами, для отдачи команд компьютерным системам. Примером такого взаимодействия можно назвать уже упомянутый захват движения при игре на консолях.
4. Биомеханика спорта (англ. Sport motion analysis) — анализ движений при тренировке и соревнованиях. Используется для лучшего понимания процессов, происходящих при занятии спортом, для предотвращения травм и растяжений, и для установления новых рекордов. Информация, полученная в ходе анализа, используется также для создания профессионального инвентаря.

Методы решения

DeepPose

Первая значимая разработка с использованием глубокого обучения для задачи определения положения человека. Модель продемонстрировала высокую эффективность и превзошла существовавшие на тот момент решения. В этом подходе оценка позы формулируется как задача CNN-регрессии по суставам (ключевым точкам) тела. Для большей эффективности используется каскад из нескольких CNN. Важной особенностью является то, что обрабатывается человек целиком, что позволяет корректно определять позу, даже если некоторые суставы скрыты.

Если рассматривать архитектуру, модель основана на AlexNet (7 слоёв) и дополнительном финальном слое, выводящем пары координат ключевых точек. Обучение модели производится с использованием функции потерь L2 для регрессии (англ. ``L2 loss for regression``).

См. также

• Нахождение объектов на изображении
• Оценка положения
• Компьютерное зрение
• Обнаружение и обработка дорожных знаков и пешеходов

Источники информации

• Guide to Human Pose Estimation
• Monocular Human Pose Estimation