Изменения

|[[file:InputSingle.jpg|200px|thumb| Рисунок 1 Исходная картинка. [[http://sysu-hcp.net/lip/posechallenge.php xИсточник]]]]|[[file:outputSingle.jpg|200px|thumb| Рисунок 2 Результат работы алгоритма для одного человека. [[http://sysu-hcp.net/lip/posechallenge.php xИсточник]]]]

|[[file:InputMulti.png|200px|thumb| Рисунок 3 Исходная картинка с несколькими людьми [[https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b xИсточник]]]]|[[file:InnerMulti.png|200px|thumb| Рисунок 4 Промежуточный этап разделения людей [[https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b xИсточник]]]]|[[file:OutputMulti.png|200px|thumb| Рисунок 5 Итоговый результат работы алгоритма [[https://medium.com/beyondminds/an-overview-of-human-pose-estimation-with-deep-learning-d49eb656739b xИсточник]]]]

===DeepPose (20132014)===

|[[file:challenging.png|300px|thumb| Рисунок 6 Примеры результатов работы алгоритма [[https://arxiv.org/pdf/1312.4659.pdf xИсточник]]]]

Оценка позы формулируется как задача как совместную совместной [[линейная регрессия|регрессиюрегрессии]] по ключевым точкам (англ. ''Joint'') и решается при помощи [[сверточные нейронные сети|сверточных нейронных сетей]] [[глубокое обучение|глубокого обучения]] (англ. ''convolutional DNN''). Полное изображение и 7-слойная обобщенная глубокая [[сверточные нейронные сети|сверточная нейронная сеть]] [[глубокое обучение|глубокого обучения]] используются в качестве входных данных для [[линейная регрессия|регрессии]] по местоположению каждого сустава тела. У этого решения есть два преимущества.

Во-первых, глубокая нейронная сеть (англ. DNN) может захватывать полный контекст каждой ключевой точки {{- --}} каждый регрессор сустава использует полное изображение

Во-вторых, данный подход существенно проще формулируется в сравнении с методами, основанными на графических моделях {{- --}} нет необходимости явно проектировать представления элементов и детекторы для отдельных частей тела; нет необходимости явно разрабатывать топологию модели и взаимодействия между суставами. Вместо этого для решения данной проблемы задачи можно обучить обобщенную сверточную DNN.

Если рассматривать архитектуру, С архитектурной точки зрения модель основана на AlexNet<ref name="alexNet">[https://neurohive.io/ru/vidy-nejrosetej/alexnet-svjortochnaja-nejronnaja-set-dlja-raspoznavanija-izobrazhenij/ Сверточная нейросеть AlexNet, Павел Глек, 2018]</ref> (7 слоёв) и дополнительном финальном слое, выводящем пары координат ключевых точек. Обучение модели производится с использованием [[функция потерь и эмпирический риск|функции потерь]] L2<ref name="regularization">[http://neerc.ifmo.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%83%D0%BB%D1%8F%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F L2 регуляризация]</ref> для регрессии (англ. ''L2 loss for regression'').

|[[file:Deepposeschema.PNG|800px|thumb| Рисунок 7 Слева: схематичное изображение глубокой нейронной сети для регрессии. Мы визуализируем слои сети с соответствующими размерами, где сверточные слои {{---}} голубые, а полностью связные полносвязные {{---}} зеленые. Параметр свободных слоёв не показан. <br>Справа: на шаге $s$, a уточняющий регрессор применяется на фрагменте изображения чтобы улучшить результат предыдущего шага [[https://arxiv.org/pdf/1312.4659.pdf xИсточник]]]]

===DeepCut AlphaPose (2015)===

|[[file:DeepcutexamleAlphaPoseResult.png|400px300px|thumb| Рисунок 8 9. Результат работы AlphaPose. [[https://arxiv.org/pdf/15111612.0664500137.pdf xИсточник]]]]

DeepCutAlphaPose<ref name="DeepCutAlphaPose">[https://arxiv.org/pdfabs/15111612.06645.pdf DeepCut00137 RMPE: Joint Subset Partition and Labeling for Regional Multi -Person Pose Estimation, Leonid PishchulinHao-Shu Fang1, Eldar InsafutdinovShuqin Xie, Siyu TangYu-Wing Tai, Bjoern AndresCewu Lu1, Mykhaylo Andriluka, Peter Gehler, and Bernt Schiele, 20162018]</ref> решает задачу позволяет решать проблему определения поз положения как одного, так и нескольких человек в режиме реального времени. Данное решение задачи региональной оценки позы для нескольких людей человек (англ. ''Region Multi person Pose estimationPerson Estimation'', '''''RMPE''''') призвано облегчить оценку позы при наличии неточных окружающих рамок (англ. ''bounding box'') человека. Решение доступно для общего пользования и также имеет опубликовано на [https://github.com/eldarMVIG-SJTU/deepcut открытый кодAlphaPose GitHub]. Данный подход предполагает одновременное решение задач определения частей тела и отделения друг от друга частей тела разных людей  Структура решения состоит из трех компонентов: определяется количество людей в сцене, идентифицируются закрытые части тела и устраняется неоднозначность частей тела людей, находящихся в непосредственной близости друг от другасимметричная сеть пространственных преобразователей (англ. Это отличает данное решение от многих других''Symmetric Spatial Transformer Network'', сначала выявляющих людей'''''SSTN'''''), а затем оценивающие их положения. Авторы предлагают разделение и разметку набора гипотез о частях тела, созданных с помощью детекторов частей на основе [[сверточные нейронные сети|CNN]]. Неявно выполняется параметрическое не-максимальное подавление позы (англ. ''Parametric Pose Non-maximum Suppression'', '''NMS'''<ref name="NMS">[https://towardsdatascience.com/non-maximum-suppression-nms-93ce178e177c Non-maximum Suppression, Sambasivarao. K, 2019]</ref>) для набора возможных частей ) и производится группировкагенератор предложений с указанием позы (англ. ''Pose-Guided Proposals Generator'', чтобы сформировать конфигурации частей тела с учетом геометрических ограничений и ограничений внешнего вида'''''PGPG''''').

Пример На рисунке 10 показан процесс работы алгоритмарешения. Сеть симметричных пространственных преобразователей состоит из сети пространственных преобразователей (англ. ''Spatial Transformer Network'', рисунок 8: (a'''''STN''''') начальное определение возможных частей и попарных связей между всеми обнаруженными частямисети обратных пространственных преобразований (англ. ''Spatial De-Transformer Network'', которые '''''SDTN'''''). Модуль '''''STN''''' отдает результаты своей работы на вход определителю поз (bангл. ''Single Person Pose Estimator'', '''''SPPE''''') кластеризуются по принадлежности одному человеку (один цвет , который, в свою очередь отдает свои результаты модулю '''''SDTN'''''. '''''STN''''' получает предположения относительно людей {{--- один человек) и каждая часть помечается меткой соответствующего этой части класса }} выделенные окружающими рамками потенциальные фигуры, а '''''SDTN''''' генерирует окончательные предположения о позах людей. Параллельный определитель поз (разные цвета и символы относятся к разным частям телаангл. ''Single Person Pose Estimator'', '''''SPPE'''''); действует как дополнительный регуляризатор на этапе обучения. Наконец, выполняется параметрическое не-максимальное подавление позы (c) демонстрация результатаангл.''Parametric Pose Non-maximum Suppression'', '''NMS'''<brref name="NMS">[https://towardsdatascience.com/non-maximum-suppression-nms-93ce178e177c Non-maximum Suppression, Sambasivarao. K, 2019]<br/ref>) для устранения избыточных оценок позы. В отличие от традиционного обучения, мы обучаем модуль '''''SSTN + SPPE''''' на изображениях, сгенерированных генератором предложений с указанием позы (англ. ''Pose-Guided Proposals Generator'', '''''PGPG'''''). Если говорить о внутренних нюансах реализации решения, '''''STN''''' базируется на ResNet18<brref name="ResNet">[https://docs.exponenta.ru/deeplearning/ref/resnet18.html Non-maximum ResNet18]<br/ref>, детектор людей {{---}} на VGG<brref name="VGG">[https://arxiv.org/abs/1409.1556 Very Deep Convolutional Networks for Large-Scale Image RecognitionKaren Simonyan, Andrew Zisserman, 2014]<br/ref>SSD-500<brref name="SSD">[https://arxiv.org/abs/1512.02325 SSD: Single Shot MultiBox Detector, Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, 2015]<br/ref>, '''''SPPE''''' представляет собой 8 последовательных сетей вида "песочые часы" (англ. ''8-stack hourglass network''<brref name="hourglassnetwork">[https://arxiv.org/abs/1603.06937 Stacked Hourglass Networks for Human Pose Estimation, Alejandro Newell, Kaiyu Yang, Jia Deng, 2016]<br><br/ref>).

|[[file:OpenposeAlphaPose.jpgpng|300px800px|thumb| Рисунок 9 Примеры результатов 10. Процесс работы алгоритма решения. [[https://githubarxiv.org/pdf/1612.00137.compdf Источник]]]]|}<br><br><br><br><br><br><br><br><br><br><br><br>Так как AlphaPose, как и OpenPose, является решением, работающим в реальном времени, то сравнение этих двух решений наиболее интересно. На наборе данных MPII Human Pose<ref name="MPII">[http://CMUhuman-Perceptualpose.mpi-Computinginf.mpg.de/ MPII Human Pose]</ref> было выполнено сравнение вероятности корректности определения ключевой точки (англ. ''Probability of Correct Keypoint'', '''''PCK'''''). Результаты представлены в таблице на рисунке 11. {|align="left"|-Labvalign="top"|[[file:AlphaPoseTestResults.png|800px|thumb| Рисунок 11. Результаты на датасете MPII в сравнении с OpenPose. [[https:/openpose/blobarxiv.org/masterpdf/README1612.00137.md xpdf Источник]]]]

|[[file:Openpose exampleDeepcutgraphics.png|800px400px|thumb|Рисунок 10 13 [[https://arxiv.org/pdf/16111511.0805006645.pdf xИсточник]]]]|[[file:Deepcuttable.png|400px|thumb| Рисунок 14 [[https://arxiv.org/pdf/1511.06645.pdf Источник]]]]

===OpenPose (2019)==={|align="left"|-valign="top"|[[file:Openpose.jpg|300px|thumb| Рисунок 15 Примеры результатов работы алгоритма [[https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/README.md Источник]]]]|}OpenPose<ref name="OpenPose">[https://arxiv.org/pdf/1812.08008.pdf OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh, 2019]</ref> {{---}} первая система, решающая задачу определения поз для нескольких людей (англ. ''Multi person Pose estimation'') в режиме реального времени c открытым [https://github.com/CMU-Perceptual-Computing-Lab/openpose исходным кодом].  Определяет 135 ключевых точек для каждого человека. Поддерживает определение не только крупных частей, но и отдельных пальцев и их движений. Для обучения использовался CMU Panoptic Studio dataset<ref name="CMU Panoptic Studio dataset">[http://domedb.perception.cs.cmu.edu/ CMU Panoptic Studio dataset]</ref>, состоящий из съемок людей с большого числа ракурсов в специальном куполе, оснащенном 500 камерами<ref name="OpenPose – ИИ для понимания роботами языка тела из CMU">[https://robotics.ua/news/ai/6256-cmu_openpose_ai_dlya_ponimaniya_robotami_yazyka_tela ИИ для понимания роботами языка тела из CMU, 2017]</ref>.<br><br><br><br><br><br><br>{|align="left"|-valign="top"|[[file:Openpose example.png|800px|thumb|Рисунок 16 [[https://arxiv.org/pdf/1611.08050.pdf Источник]]]]|}<br><br><br><br><br><br><br><br><br><br>

|[[file:Openposeschema.png|500px|thumb|Рисунок 11 17 [[https://arxiv.org/pdf/1611.08050.pdf xИсточник]]]]

Логика архитектуры OpenPose следующая: во-первых, входное RGB-изображение (рисунок 10а16а) подается как вход в многослойную CNN с двумя ветвями.  Две ветви означают, что CNN производит два разных вывода. На рисунке 11 17 верхняя ветвь, показанная бежевым цветом, предсказывает карты достоверности (англ. ''confidence map'') (рисунок 10b16b) расположения различных частей тела. Нижняя ветвь, показанная синим цветом, предсказывает поля сходства фрагментов (англ. ''affinity field'', '''''PAFs''''') (рисунок 10c16c), которые представляют степень связи между различными частями тела.МногоступенчатостьМногослойность означает следующее: на первом этапе слое (левая половина рисунка 1117) сеть создает начальный набор карт достоверности обнаружения $S $ и набор полей сходства для части $L$. Затем на каждой последующей стадии каждом последующем слое (правая половина рисунка 1117) прогнозы из обеих ветвей на предыдущем этапе, вместе с характеристиками и характеристики исходного изображения $F$, объединяются (обозначены объединение обозначено знаком $+ $ на рисунке 1117) и используются для получения более точных прогнозов. В реализации OpenPose последним этапом $t $ выбран шестой. На рисунке 12 18 показаны положительные преимущества многослойной архитектуры. В этом примере мы наблюдаем некоторую начальную путаницу между левой и правой частями тела на первых нескольких этапах. Но по мере того, как слой увеличивается, сеть различает начинает лучше различать их лучше. В конце карты достоверности и поля сходства обрабатываются методом жадного вывода <ref name="GreedyInference">[https://vtechworks.lib.vt.edu/handle/10919/81860 Greedy Inference Algorithms for Structured and Neural Models, Sun, Qing, 2018]</ref> (рисунок 10d16d) для вывода двумерных ключевых точек для всех людей на изображении (рисунок 10e16e).

|[[file:Openposestagebystage.png|600px|thumb|Рисунок 1218. Результаты на слоях 1, 3 и 6 [[https://arxiv.org/pdf/1611.08050.pdf xИсточник]]]]

Важной особенностью является скорость работы данного решения. На рисунке 13 представлено сравнение времени работы трех доступных библиотек, решающих задачу определения положения человека (в одинаковых условиях на одинаковом аппаратном обеспечении): OpenPose, Alpha-Pose (fast Pytorch version), и Mask R-CNN. Время исполнения OpenPose является константным, в то время как у Alpha-Pose и Mask R-CNN линейно растет с числом людей на исходных данных.{|align="leftright"

|[[file:Openpose vs competition.png|300px|thumb| Рисунок 13 19 [[https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/README.md xИсточник]]]]

Важной особенностью является скорость работы данного решения. На рисунке 18 представлено сравнение времени работы трех доступных библиотек, решающих задачу определения положения человека (в одинаковых условиях на одинаковом аппаратном обеспечении): OpenPose, Alpha-Pose<brref name="Alpha-Pose">[https://github.com/MVIG-SJTU/AlphaPose AlphaPose, Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai and Cewu Lu, 2018]<br/ref>(fast Pytorch version), и Mask R-CNN<brref name="MaskR-CNN">[https://arxiv.org/abs/1703.06870 Mask R-CNN, Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick, 2018]</ref>. Время исполнения OpenPose является постоянным, в то время как у Alpha-Pose и Mask R-CNN линейно растет с числом людей на исходных данных.<br><br><br><br><br><br><br><br><br><br>