125
правок
Изменения
→DeepCut (2016)
Авторы предлагают разделение и разметку набора гипотез о частях тела, созданных с помощью детекторов частей на основе [[сверточные нейронные сети|CNN]]. Неявно выполняется не-максимальное подавление (англ. ''Non-maximum Suppression'', '''NMS'''<ref name="NMS">[https://towardsdatascience.com/non-maximum-suppression-nms-93ce178e177c Non-maximum Suppression, Sambasivarao. K, 2019]</ref>) для набора возможных частей и производится группировка, чтобы сформировать конфигурации частей тела с учетом геометрических ограничений и ограничений внешнего вида.
Пример работы алгоритма представлен на рисунке 1512: (a) начальное определение возможных частей и попарных связей между всеми обнаруженными частями, которые (b) кластеризуются по принадлежности одному человеку (один цвет {{---}} один человек) и каждая часть помечается меткой соответствующего этой части класса (разные цвета и символы относятся к разным частям тела); (c) демонстрация результата.
Для оценки эффективности решения проводилось сравнение нескольких вариантов архитектуры, использующих DeepCut друг с другом и с тремя другими решениями. Использовались наборы данных LSP (Leeds Sport Poses)<ref name="LSP">[https://sam.johnson.io/research/lsp.html LSP dataset]</ref>, LSPET (LSP Extended)<ref name="LSPET">[https://dbcollection.readthedocs.io/en/latest/datasets/leeds_sports_pose_extended.html LSPET dataset]</ref> и MPII Human Pose<ref name="MPII">[http://human-pose.mpi-inf.mpg.de/ MPII Human Pose]</ref>. Были рассмотрены два варианта архитектуры, использующие DeepCut SP (Single Person) и DeepCut MP (Multi Person), совмещающие в себе DeepCut и адаптированная быстрая [[сверточные нейронные сети|сверточная нейронная сеть]] на основе регионов (англ. ''Adapted Fast R-CNN''<ref name="FastR-CNN">[https://arxiv.org/abs/1504.08083 Fast R-CNN, Ross Girshick, 2015]</ref>, '''''AFR-CNN''''') в одном случае и DeepCut и плотные [[сверточные нейронные сети]] (англ. ''Dense-CNN'') в другом. Также в сравнении участвовали решения Tompson et al.<ref name="Tompson">[J. J. Tompson, A. Jain, Y. LeCun, and C. Bregler. Joint training of a convolutional network and a graphical model for human pose estimation. In NIPS’14]</ref>, Chen&Yuille<ref name="Chen&Yuille">[X. Chen and A. Yuille. Articulated pose estimation by a graphical model with image dependent pairwise relations. In NIPS’14]</ref>, Fan et al.<ref name="Fan">[X. Fan, K. Zheng, Y. Lin, and S. Wang. Combining local appearance and holistic view: Dual-source deep neural networks for human pose estimation. In CVPR’15]</ref>.
Оценивалась вероятность корректности определения ключевой точки (англ. ''Probability of Correct Keypoint'', '''''PCK'''''). На рисунке 16 13 представлены графики данной величины от нормализованного расстояния между ключевыми точками (близкорасположенные точки корректно определить сложнее). На рисунке 14 {{---}} таблица, отражающая качество определения тех или иных частей тела, вероятности корректности определения ключевой точки (PCK) и площадь под кривой ошибок (англ. ''area under ROC curve'', '''''AUC''''').
{|align="left"
