107
правок
Изменения
→Постановка задачи
==Постановка задачи==
[[Файл:IoUsObjectDetection.pngjpg|300px|thumb|right|Примеры влияния взаимного положения bounding box-ов на метрику IoUРазличие между задачами классификации изображения, классификации с локализацией, детекции объектов и сегментации экземпляров]]
Задача нахождения объектов на изображении может быть поставлена различным образом и включает в себя класс других задач, помогающих определить, какие объекты находятся на изображении и где они расположены в сетке пикселей исходного изображения.
Задача семантической сегментации (англ. semantic segmentation) {{---}} задача, в которой на вход модели подаётся изображение, а на выходе для каждого пикселя является метка принадлежности этого пикселя к определённой категории. Например, если в исходном изображении человек переходит дорогу, то для каждого пикселя необходимо вывести, является ли этот пиксель частью человеческого тела, профиля дороги, знака дорожного движения, неба, или какого-то другого типа. Существенный недостаток применения одной лишь семантической сегментации относительно задач, связанных с распознаванием объектов {{---}} маркировка пикселей по принадлежности только к типу объекта, что не создаёт различия между объектами как таковыми. Например, если назвать "объектом" связную область пикселей, характеризующих одинаковый тип, то два объекта, перегораживающих друг друга на исходном изображении, будут определены как один объект, что в корне неверно. Задача семантической сегментации изображения с дифференцированием объектов называется задачей сегментации экземпляров (англ. instance segmentation). Модели, решающие задачу сегментации экземпляров, применяются, в том числе, для подсчёта людей в массовых скоплениях, для автомобилей с автоматическим управлением.
Задача классификации с локализацией (англ. classification and localization) {{---}} задача, в которой в дополнение к предсказанию метки категории класса определяется рамка, ограничивающая местоположение экземпляра одиночного объекта на картинке. Как правило, рамка имеет прямоугольную форму, её стороны ориентированы параллельно осям исходного изображения, а площадь является минимальной при условии полного нахождения экземпляра объекта внутри этой рамки. Такую прямоугольную рамку называют термином bounding box. Bounding box можно задать как при помощи центра, ширины и высоты, а также можно обучить модель не только так и при помощи четырёх сторон. Модель в данном случается одновременно обучается как верной классификации, но так и максимально точному определению границ рамки. В качестве метрики для определения местоположения bounding box-а чаще всего используется отношение площадей bounding box-ов Intersection over Union: $IoU = \frac{S(A \cup B)}{S(A \cap B)}$, где $A$ и $B$ - предсказанный bounding box и настоящий bounding box соответственно. $IoU$ равно нулю в случае непересекающихся bounding box-ов и равно единице в случае идеального наложения. Задача детекции объектов (англ. object detection) {{---}} задача, в рамках которой необходимо выделить несколько объектов на изображении посредством нахождения координат их bounding box-ов и классификации этих bounding box-ов из множества заранее известных классов. В отличие от классификации с локализацией, число объектов, которые находятся на изображении, заведомо неизвестно. В качестве метрики зачастую используется $mAP$ (mean average precision) {{---}} усреднённая по всем категориям величина $AP = \int_{0}^{1} p(r) dr$, где $p$ {{---}} точность, $r$ {{---}} полнота из предположения, что bounding box определён верно, если $IoU \geq 0.5$. Поскольку точность и полнота находятся в промежутке от $0$ до $1$, то $AP$, а следовательно, и $mAP$, также находятся в пределах от $0$ до $1$. [[Файл:p(r).jpg|300px|thumb|Зависимость точности от полноты, необходимая для вычисления average presicion (AP)]][[Файл:IoUs.png|300px|thumb|Примеры влияния взаимного положения bounding box-ов на метрику IoU]]
==Семантическая сегментация==
