Изменения

{{В разработке}} '''Определение положения человека''' (англ. ''Human pose estimation'') {{---}} частный случай задачи [[Сегментация изображений | сегментации изображения]] из раздела [[Компьютерное зрение | компьютерного зрения]] о нахождении и локализации частей тела человека на изображениях или видео (рассматривается как последовательность изображений). Чаще всего позицией человека называют набор соединённых ключевых точек (англ. ''Joint''), соответствующих суставам (плечи, локти, кисти, тазобедренные суставы, колени, стопы) и другим ключевым точкам (шея, голова, центр торса). Эту задачу можно рассматривать в двух или трёх измерениях, от чего зависит сложность задачи и практические применения результатов. Также задачу можно разделить на два подтипа: определение положения для одного человека (англ. ''Single Person Pose Estimation''), определение положения для нескольких человек (англ. ''Multi Person Pose Estimation'')

=== Определение положения одного человека (англ. ''Single Person Pose Estimation'') ===

|[[file:InputSingle.jpg|200px|thumb| Рисунок 1 Исходная картинка. [[http://sysu-hcp.net/lip/posechallenge.php Рисунок 1 Исходная картинкаИсточник]]]]|[[file:outputSingle.jpg|200px|thumb| Рисунок 2 Результат работы алгоритма для одного человека. [[http://sysu-hcp.net/lip/posechallenge.php Рисунок 2 Результат работы алгоритма для одного человекаИсточник]]]]

=== Определение положений нескольких людей (англ. ''Multi Person Pose Estimation'') ===Эта задача имеет более высокую сложность, так как необходимо обнаружить множество человек на изображении, а затем определить положение для каждого человека из множества обнаруженных людей. Основная сложность в том, чтобы корректно определить и отличить друг от друга части тела, принадлежащие разным людям, а также решить все сложности связанные с '''Single Person Pose Estimation'''.

|[[file:InputMulti.png|200px|thumb| Рисунок 3 Исходная картинка с несколькими людьми [[https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Рисунок 3 Исходная картинка с несколькими людьмиИсточник]]]]|[[file:InnerMulti.png|200px|thumb| Рисунок 4 Промежуточный этап разделения людей [[https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Рисунок 4 Промежуточный этап разделения людейИсточник]]]]|[[file:OutputMulti.png|200px|thumb| Рисунок 5 Итоговый результат работы алгоритма [[https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b Рисунок 5 Итоговый результат работы алгоритмаИсточник]]]]

# '''Кинематограф и анимация''' {{---}} '''популярные технологии CGI'''<ref name="CGI">[https://ru.wikipedia.org/wiki/CGI_(%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D0%BA%D0%B0) CGI]</ref> (англ. ''computer-generated imagery'', буквально «изображения, сгенерированные компьютером») и захват движения<ref name="motion-capture">[https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D1%85%D0%B2%D0%B0%D1%82_%D0%B4%D0%B2%D0%B8%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F Захват движения]</ref> (англ. ''Motion capture''), позволяют создавать движущиеся изображения и графику, используя для анимации движения специального актера. Несмотря на то, что в настоящий момент чаще используется маркерный способ, при котором человек актер надевает костюм с датчиками движения, в последние годы большое развитие получил безмаркерный способ, основанный на компьютерном зрении.

===DeepPose(2014)===

|[[file:challenging.png|300px|thumb| Рисунок 6 Примеры результатов работы алгоритма [[https://arxiv.org/pdf/1312.4659.pdf Рисунок 6 Примеры результатов работы алгоритмаИсточник]]]]

Первая DeepPose<ref name="DeepPose">[https://arxiv.org/pdf/1312.4659.pdf DeepPose: Human Pose Estimation via Deep Neural Networks, Alexander Toshev, Christian Szegedy, 2014]</ref> {{---}} первая значимая разработка с использованием [[глубокое обучение|глубокого обучения]] для задачи определения положения человека. Модель продемонстрировала высокую эффективность и превзошла существовавшие на тот момент решения. В этом подходе оценка  Оценка позы формулируется как задача совместной [[линейная регрессия|регрессии]] по ключевым точкам (англ. ''Joint'') и решается при помощи [[Сверточные сверточные нейронные сети|CNNсверточных нейронных сетей]][[глубокое обучение|глубокого обучения]] (англ. ''convolutional DNN''). Полное изображение и 7-слойная обобщенная глубокая [[сверточные нейронные сети|сверточная нейронная сеть]] используются в качестве входных данных для [[линейная регрессия|регрессии]] по суставам местоположению каждого сустава тела. У этого решения есть два преимущества. Во-первых, глубокая нейронная сеть (ключевым точкамангл. DNN) может захватывать полный контекст каждой ключевой точки {{---}} каждый регрессор сустава использует полное изображениекак входной сигнал.  Во-вторых, данный подход существенно проще формулируется в сравнении с методами, основанными на графических моделях {{---}} нет необходимости явно проектировать представления элементов и детекторы для отдельных частей тела; нет необходимости явно разрабатывать топологию модели и взаимодействия между суставами. Вместо этого для решения данной задачи можно обучить обобщенную сверточную DNN. Кроме того, авторы используют каскад основанных на DNN предсказателей позы. Для большей эффективности используется Такой каскад из нескольких [[Сверточные нейронные сети|CNN]]позволяет повысить точность (англ. precision) совместной локализации ключевых точек. Начиная с начальной оценки позы, на основе полного изображения обучаются регрессоры на основе DNN, который уточняют совместные прогнозы с помощью фрагментов изображений с более высоким разрешением.  Важной особенностью является то, что обрабатывается человек целиком, что позволяет корректно определять позу, даже если некоторые суставы скрыты.

Если рассматривать архитектуру, С архитектурной точки зрения модель основана на AlexNet<ref name="alexNet">[https://neurohive.io/ru/vidy-nejrosetej/alexnet-svjortochnaja-nejronnaja-set-dlja-raspoznavanija-izobrazhenij/ Сверточная нейросеть AlexNet, Павел Глек, 2018]</ref> (7 слоёв) и дополнительном финальном слое, выводящем пары координат ключевых точек. Обучение модели производится с использованием [[функция потерь и эмпирический риск|функции потерь]] L2<ref name="regularization">[http://neerc.ifmo.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F L2 регуляризация]</ref> для регрессии (англ. ''L2 loss for regression'').

|[[file:Deepposeschema.PNG|800px|thumb| [https://arxiv.org/pdf/1312.4659.pdf Рисунок 7 Слева: схематичное изображение глубокой нейронной сети для регрессии. Мы визуализируем слои сети с соответствующими размерами, где сверточные слои {{---}} голубые, а полностью связные полносвязные {{---}} зеленые. Параметр свободных слоёв не показан. <br>Справа: на шаге $s$, a уточняющий регрессор применяется на фрагменте изображения чтобы улучшить результат предыдущего шага [[https://arxiv.org/pdf/1312.4659.pdf Источник]]]]

===DeepCutAlphaPose (2015)===

|[[file:DeepcutexamleAlphaPoseResult.png|400px300px|thumb| Рисунок 9. Результат работы AlphaPose. [[https://arxiv.org/pdf/15111612.0664500137.pdf Рисунок 8Источник]]]]

Решает задачу AlphaPose<ref name="AlphaPose">[https://arxiv.org/abs/1612.00137 RMPE: Regional Multi-Person Pose Estimation, Hao-Shu Fang1, Shuqin Xie, Yu-Wing Tai, Cewu Lu1, 2018]</ref> позволяет решать проблему определения поз положения как одного, так и нескольких человек в режиме реального времени. Данное решение задачи региональной оценки позы для нескольких людей человек (англ. ''Region Multi person estimationPerson Estimation'', '''''RMPE''''') призвано облегчить оценку позы при наличии неточных окружающих рамок (англ. ''bounding box'')человека. Данный подход предполагает одновременное решение задач определения частей тела Решение доступно для общего пользования и отделения друг от друга частей тела разных людейопубликовано на [https://github.com/MVIG-SJTU/AlphaPose GitHub].  Структура решения состоит из трех компонентов: симметричная сеть пространственных преобразователей (англ. ''Symmetric Spatial Transformer Network'', '''''SSTN'''''), параметрическое не-максимальное подавление позы (англ. ''Parametric Pose Non-maximum Suppression'', '''NMS'''<ref name="NMS">[https: определяется количество людей в сцене//towardsdatascience.com/non-maximum-suppression-nms-93ce178e177c Non-maximum Suppression, Sambasivarao. K, 2019]</ref>)) и генератор предложений с указанием позы (англ. ''Pose-Guided Proposals Generator'', '''''PGPG''''').  На рисунке 10 показан процесс работы решения. Сеть симметричных пространственных преобразователей состоит из сети пространственных преобразователей (англ. ''Spatial Transformer Network'', идентифицируются закрытые части тела '''''STN''''') и устраняется неоднозначность частей тела людейсети обратных пространственных преобразований (англ. ''Spatial De-Transformer Network'', '''''SDTN'''''). Модуль '''''STN''''' отдает результаты своей работы на вход определителю поз (англ. ''Single Person Pose Estimator'', '''''SPPE'''''), который, находящихся в непосредственной близости друг от другасвою очередь отдает свои результаты модулю '''''SDTN'''''. Это отличает данное решение от многих других, сначала выявляющих '''''STN''''' получает предположения относительно людей{{---}} выделенные окружающими рамками потенциальные фигуры, а затем оценивающие их положения'''''SDTN''''' генерирует окончательные предположения о позах людей. Параллельный определитель поз (англ. Авторы предлагают разделение и разметку набора гипотез о частях тела''Single Person Pose Estimator'', созданных с помощью детекторов частей '''''SPPE''''') действует как дополнительный регуляризатор на основе [[сверточные нейронные сети|CNN]]этапе обучения. Неявно Наконец, выполняется параметрическое не-максимальное подавление позы (англ. ''Parametric Pose Non-maximum Suppression'', '''NMS'''<ref name="NMS">[https://towardsdatascience.com/non-maximum-suppression-nms-93ce178e177c Non-maximum Suppression, Sambasivarao. K, 2019]</ref>) для набора возможных частей и производится группировкаустранения избыточных оценок позы. В отличие от традиционного обучения, мы обучаем модуль '''''SSTN + SPPE''''' на изображениях, чтобы сформировать конфигурации частей тела сгенерированных генератором предложений с учетом геометрических ограничений и ограничений внешнего указанием позы (англ. ''Pose-Guided Proposals Generator'', '''''PGPG'''''). Если говорить о внутренних нюансах реализации решения, '''''STN''''' базируется на ResNet18<ref name="ResNet">[https://docs.exponenta.ru/deeplearning/ref/resnet18.html Non-maximum ResNet18]</ref>, детектор людей {{---}} на VGG<ref name="VGG">[https://arxiv.org/abs/1409.1556 Very Deep Convolutional Networks for Large-Scale Image RecognitionKaren Simonyan, Andrew Zisserman, 2014]</ref> SSD-500<ref name="SSD">[https://arxiv.org/abs/1512.02325 SSD: Single Shot MultiBox Detector, Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, 2015]</ref>, '''''SPPE''''' представляет собой 8 последовательных сетей вида"песочые часы" (англ. ''8-stack hourglass network''<ref name="hourglassnetwork">[https://arxiv.org/abs/1603.06937 Stacked Hourglass Networks for Human Pose Estimation, Alejandro Newell, Kaiyu Yang, Jia Deng, 2016]</ref>).

Пример {|align="left"|-valign="top"|[[file:AlphaPose.png|800px|thumb| Рисунок 10. Процесс работы алгоритма, рисунок 8решения. [[https: (a) начальное определение возможных частей и попарных связей между всеми обнаруженными частями, которые (b) кластеризуются по принадлежности одному человеку (один цвет - один человек) и каждая часть помечается меткой соответствующего этой части класса (разные цвета и символы относятся к разным частям тела); (c) демонстрация результата//arxiv.org/pdf/1612.00137.pdf Источник]]]]|}<br><br><br><br><br><br><br><br><br><br><br><br>Так как AlphaPose, как и OpenPose, является решением, работающим в реальном времени, то сравнение этих двух решений наиболее интересно. На наборе данных MPII Human Pose<ref name="MPII">[http://human-pose.mpi-inf.mpg.de/ MPII Human Pose]</ref> было выполнено сравнение вероятности корректности определения ключевой точки (англ. ''Probability of Correct Keypoint'', '''''PCK'''''). Результаты представлены в таблице на рисунке 11.

|[[file:OpenposeAlphaPoseTestResults.jpgpng|300px800px|thumb| Рисунок 11. Результаты на датасете MPII в сравнении с OpenPose. [[https://githubarxiv.comorg/CMU-Perceptual-Computing-Labpdf/openpose/blob/master/README1612.00137.md Рисунок 9 Примеры результатов работы алгоритмаpdf Источник]]]]

|[[file:Openpose vs competitionOpenposeschema.png|400px500px|thumb| Рисунок 17 [[https://githubarxiv.comorg/CMU-Perceptual-Computing-Labpdf/openpose/blob/master/README1611.08050.md Рисунок 10pdf Источник]]]]|} Важной особенностью является скорость работы данного решения. На рисунке 10 представлено сравнение времени работы трех доступных библиотек, решающих задачу определения положения человека (в одинаковых условиях на одинаковом аппаратном обеспечении)Логика архитектуры OpenPose следующая: OpenPoseво-первых, Alphaвходное RGB-Pose изображение (fast Pytorch versionрисунок 16а), и Mask R-CNN. Время исполнения OpenPose является константным, подается как вход в то время как у Alpha-Pose и Mask R-многослойную CNN линейно растет с числом людей на исходных данныхдвумя ветвями.<br><br>Архитектура решения кратко изображена на рисунке 11: решение является многослойной Две ветви означают, что CNN с двумя ветвямипроизводит два разных вывода. Каждый слой в первой ветви На рисунке 17 верхняя ветвь, показанная бежевым цветом, предсказывает карту уверенности S^tкарты достоверности (англ. ''confidence map'') (рисунок 16b) расположения различных частей тела. Нижняя ветвь, показанная синим цветом, и каждый слой второй ветви предсказывает сходство поля сходства фрагментов (англ. ''affinity field'', '''''PAFs''''') (рисунок 16c), которые представляют степень связи между различными частями тела. Многослойность означает следующее: на первом слое (левая половина рисунка 17) сеть создает начальный набор карт достоверности обнаружения $S$ и набор полей сходства для части $L^$. Затем на каждом последующем слое (правая половина рисунка 17) прогнозы из обеих ветвей на предыдущем этапе и характеристики исходного изображения $F$, объединяются (объединение обозначено знаком $+$ на рисунке 17) и используются для получения более точных прогнозов. В реализации OpenPose последним этапом $t$ выбран шестой. После каждого слоя На рисунке 18 показаны преимущества многослойной архитектуры. В этом примере мы наблюдаем некоторую начальную путаницу между левой и правой частями тела на первых нескольких этапах. Но по мере того, как слой увеличивается, сеть начинает лучше различать их. В конце карты достоверности и поля сходства обрабатываются методом жадного вывода<ref name="GreedyInference">[https://vtechworks.lib.vt.edu/handle/10919/81860 Greedy Inference Algorithms for Structured and Neural Models, результаты каждой ветвиSun, вместе с признаками изображенияQing, объединяются 2018]</ref> (рисунок 16d) для вывода двумерных ключевых точек для следующего слоявсех людей на изображении (рисунок 16e).

|[[file:OpenposeschemaOpenposestagebystage.png|400px600px|thumb| Рисунок 18. Результаты на слоях 1, 3 и 6 [[https://arxiv.org/pdf/1611.08050.pdf Источник]]]]|} <br><br><br><br><br><br><br><br><br><br><br><br><br><br><br>{|align="right"|-valign="top"|[[file:Openpose vs competition.png|300px|thumb| Рисунок 1119 [[https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/README.md Источник]]]]

Важной особенностью является скорость работы данного решения. На рисунке 18 представлено сравнение времени работы трех доступных библиотек, решающих задачу определения положения человека (в одинаковых условиях на одинаковом аппаратном обеспечении): OpenPose, Alpha-Pose<brref name="Alpha-Pose">[https://github.com/MVIG-SJTU/AlphaPose AlphaPose, Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai and Cewu Lu, 2018]</ref> (fast Pytorch version), и Mask R-CNN<ref name="MaskR-CNN">[https://arxiv.org/abs/1703.06870 Mask R-CNN, Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick, 2018]</ref>. Время исполнения OpenPose является постоянным, в то время как у Alpha-Pose и Mask R-CNN линейно растет с числом людей на исходных данных.<br><br><br><br><br><br><br><br><br><br>