Определение положения человека — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(DeepPose)
Строка 2: Строка 2:
  
 
== Постановка задачи ==
 
== Постановка задачи ==
 +
[[file:InputSingle.jpg|200px|thumb| [http://sysu-hcp.net/lip/posechallenge.php Исходная картинка]]]
 +
[[file:outputSingle.jpg|200px|thumb| [http://sysu-hcp.net/lip/posechallenge.php Результат работы алгоритма для одного человека]]]
 +
[[file:InputMulti.png|200px|thumb| [https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Исходная картинка с несколькими людьми]]]
 +
[[file:InnerMulti.png|200px|thumb| [https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Промежуточный этап разделения людей]]]
 +
[[file:OutputMulti.png|200px|thumb| [https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Итоговый результат работы алгоритма]]]
 
=== Single Person Estimation ===
 
=== Single Person Estimation ===
 
Просто разделить части тела одного человека
 
Просто разделить части тела одного человека
[[file:InputSingle.jpg|200px|thumb|left| [http://sysu-hcp.net/lip/posechallenge.php Исходная картинка]]]
 
[[file:outputSingle.jpg|200px|thumb|left| [http://sysu-hcp.net/lip/posechallenge.php Результат работы алгоритма для одного человека]]]
 
 
 
=== Multi Person Estimation ===
 
=== Multi Person Estimation ===
 
Задача намного сложнее т.к. надо еще определять принадлежность частей конкретному человеку
 
Задача намного сложнее т.к. надо еще определять принадлежность частей конкретному человеку
[[file:InputMulti.png|left|200px|thumb| [https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Исходная картинка с несколькими людьми]]]
 
[[file:InnerMulti.png|left|200px|thumb| [https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Промежуточный этап разделения людей]]]
 
[[file:OutputMulti.png|left|200px|thumb| [https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Итоговый результат работы алгоритма]]]
 
  
 
== Область применения ==
 
== Область применения ==

Версия 18:14, 20 января 2021

Определение положения человека (англ. Human pose estimation) — задача из раздела компьютерного зрения о нахождении и локализации частей тела человека на изображениях или видео. Чаще всего позицией человека называют набор соединённых ключевых точек (англ. Joint), соответствующих суставам (плечи, локти, кисти, тазобедренные суставы, колени, стопы) и другим ключевым точкам (шея, голова, центр торса).

Постановка задачи

Single Person Estimation

Просто разделить части тела одного человека

Multi Person Estimation

Задача намного сложнее т.к. надо еще определять принадлежность частей конкретному человеку

Область применения

  1. Кинематограф и анимацияCGI (англ. computer-generated imagery, букв. «изображения, сгенерированные компьютером») и захват движения (англ. Motion capture). Несмотря на то, что в настоящий момент чаще используется маркерный способ, при котором человек надевает костюм с датчиками движения, в последние годы большое развитие получил безмаркерный способ, основанный на компьютерном зрении.
  2. Видеоигры — широко применяется в дополненной реальности (англ. Augmented Reality, AR) и виртуальной реальности (англ. Virtual Reality, VR). Захват движения (англ. Motion tracking) также используется в консольных игровых решениях. Помимо этого, определение положения человека необходимо непосредственно в производстве видеоигр, для этого, опять же, используется технология CGI.
  3. Человеко-компьютерное взаимодействие (англ. Human-computer interaction) — здесь определение положения человека используется для взаимодействия с роботами или компьютерами, для отдачи команд компьютерным системам. Примером такого взаимодействия можно назвать уже упомянутый захват движения при игре на консолях.
  4. Биомеханика спорта (англ. Sport motion analysis) — анализ движений при тренировке и соревнованиях. Используется для лучшего понимания процессов, происходящих при занятии спортом, для предотвращения травм и растяжений, и для установления новых рекордов. Информация, полученная в ходе анализа, используется также для создания профессионального инвентаря.

Методы решения

OpenPose

DeepCut

DeepPose

Первая значимая разработка с использованием глубокого обучения для задачи определения положения человека. Модель продемонстрировала высокую эффективность и превзошла существовавшие на тот момент решения. В этом подходе оценка позы формулируется как задача CNN-регрессии по суставам (ключевым точкам) тела. Для большей эффективности используется каскад из нескольких CNN. Важной особенностью является то, что обрабатывается человек целиком, что позволяет корректно определять позу, даже если некоторые суставы скрыты.

Если рассматривать архитектуру, модель основана на AlexNet (7 слоёв) и дополнительном финальном слое, выводящем пары координат ключевых точек. Обучение модели производится с использованием функции потерь L2 для регрессии (англ. L2 loss for regression).

См. также

Примечания

Источники информации