Анализ видео

Материал из Викиконспекты
Перейти к: навигация, поиск
Эта статья находится в разработке!

Трекинг — определение местоположения объекта (нескольких объектов) во времени.

Задача отслеживания объектов на видео является одной из самых интересных задач в информационных технологиях. На первый взгляд, видеопоток можно рассматривать как последовательность отдельных кадров, поэтому применимы многие алгоритмы, использующиеся для обработки обычных изображений. Сегодня к задаче распознавания объектов также широко применяются методы классификации, а именно, строятся системы, которые определяют к какому классу (изображение содержит объект или изображение не содержит объект) относится изображение.

С другой стороны, видеопоток обладает свойством связности: каждый последующий кадр не сильно отличается от предыдущего, поэтому возможно применение алгоритмов, основанных на этом свойстве. Одной из интересных задач в этой области является трекинг перемещений объектов на видео. В работе [1] алгоритмы отслеживания разделены на четыре основные категории: отслеживание областей, отслеживание по активному контуру, отслеживание по характерным признакам, отслеживание по модели.


Распознавание изображений

Для детектирования объекта на изображении применяются алгоритмы распознавания. Алгоритм распознавания изображений принимает картинку в качестве входных данных и выводит, что содержится на данном изображении.

Классификация изображений производится поэтапно. На первом шаге входное изображение зачастую предварительно обрабатывается для нормализации контраста и яркости, а также на этом шаге входное изображение обрезается и масштабируется до фиксированного размера.

На втором шаге необходимо упростить изображение путем извлечения важной информации, так как исходное изображение содержит слишком много дополнительной информации, которая не требуется для классификации. Этот шаг называется извлечением признаков. Существует достаточно большое количество признаков, используемых в компьютерном зрении, — это признаки Хаара, HOG (Histogram of Oriented Gradients), SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Feature) и другие.

На третьем шаге алгоритм классификации принимает вектор признаков в качестве входных данных и выводит к какому классу принадлежит изображение.

Типы «признаков», использованные в алгоритме

Метод Виолы-Джонса

Основной принцип алгоритмы Виолы-Джонса, основанный на признаках Хаара, заключается в сканировании изображения с помощью сканирующего окна, которое позволяет обнаружить заданный объект. Однако признаки, предложенные Виолой и Джонсом, содержат более одной прямоугольной области и несколько сложнее. На иллюстрации показано четыре различных типа признаков. Величина каждого признака вычисляется как сумма пикселей в белых прямоугольниках, из которой вычитается сумма пикселей в чёрных областях. Прямоугольные признаки более примитивны, чем steerable filter, и, несмотря на то, что они чувствительны к вертикальным и горизонтальным особенностям изображений, результат их поиска более груб. Однако, при хранении изображения в интегральном формате проверка прямоугольного признака на конкретной позиции проводится за константное время, что является их преимуществом по сравнению с более точными вариантами. Каждая прямоугольная область в используемых признаках всегда смежна с другим прямоугольником, поэтому расчёт признака с двумя прямоугольниками состоит из шести обращений в интегральный массив, для признака с тремя прямоугольниками - из восьми, и с четырьмя прямоугольниками - из девяти.

Отслеживание объекта

Отслеживанием называется поиск объекта в последовательных кадрах видео. Отслеживание объекта в некоторых случаях может выполняться при помощи алгоритмов детектирования. При детектировании основная идея заключается в том, чтобы сначала определить регионы интереса (ключевые точки), которые будут независимы к преобразованиям. Затем для каждого региона интереса строится его векторное представление — дескриптор. Далее на каждом кадре будет выполняться поиск объекта и выделение его местоположения прямоугольником.

При трекинге целью является нахождение объекта в текущем кадре, если он успешно отслеживался во всех предыдущих кадрах. Так как объект был отслежен до текущего кадра, известны параметры модели движения: скорость и направление движения объекта в предыдущих кадрах. Поэтому можно предсказать новое местоположение объекта, опираясь на его модель движения, и оно будет очень близко к реальному новому положению объекта.

Visual object tracking

VOT (Visual object tracking)

  • Рассматривается отслеживание одного объекта
  • Объект уже выделен на первом кадре
  • "Model-free" — нет ничего, кроме одного изображения на первом кадре, т.е. не можем детектировать объект
  • "Short-term" — отслеживаем на коротких промежутках времени, не применяем повторное обнаружение
  • Не используются будущие кадры, только предыдущие

Пример алгоритма

Трекинг ладони


  1. Инициализация
    1. Находим 100 контрольных точек с помощью метода поиска локальных особенностей (Harris corners) в рамке руки
    2. Вычисляем медиану
    3. Вычисляем цветовую статистику в окрестности центра
    4. Разметить в рамке руки все пиксели, похожие на кожу
  2. Слежение
    1. Отслеживаем контрольные точки
    2. Если точка нарушает условия стаи, то удаляем её
  3. Инициализация новых контрольных точек
    1. Ищем особенности (Harris corners)
    2. Если точка не на коже, то удаляем её
 Input : Pretrained CNN filters {[math]w_1[/math],..., [math]w_5[/math]}
         Initial target state [math]x_1[/math]
 Output: Estimated target states [math]x^*_t[/math] 
 1: Randomly initialize the last layer [math]w_6[/math].
 2: Train a bounding box regression model.
 3: Draw positive samples [math]S^+_1[/math] and negative samples [math]S^-_1[/math].
 4: Update {[math]w_4, w_5, w_6[/math]} using [math]S^+_1[/math] and [math]S^-_1[/math];
 5: [math]T_s[/math] [math]\leftarrow[/math] {1} and [math]T_l[/math] [math]\leftarrow[/math] {1}.
 6: repeat
 7:    Draw target candidate samples [math]x^i_t[/math];
 8:    Find the optimal target state [math]x^*_t[/math] by Eq. (1).
 9:    if [math]f^+(x^*_t)[/math] > 0.5 then
10:      Draw training samples [math]S^+_t[/math] and [math]S^-_t[/math].
11:      [math]T_s \leftarrow T_s  \cup[/math] {[math]t[/math]}, [math]T_l \leftarrow T_l  \cup[/math] {[math]t[/math]}.
12:      if |[math]T_s[/math]| > [math]\tau_s[/math] then [math]T_s \leftarrow T_s[/math] \ {[math]min_{\upsilon \in T_s} \upsilon[/math]}. 
13:      if |[math]T_l[/math]| > [math]\tau_l[/math] then [math]T_l \leftarrow T_l[/math] \ {[math]min_{\upsilon \in T_l} \upsilon[/math]}. 
14:      Adjust [math]x^*_t[/math] using bounding box regression.
15:    if [math]f^+(x^*_t)[/math] < 0.5 then
16:      Update {[math]w_4, w_5, w_6[/math]} using [math]S^+_{\upsilon \in T_s} and \lt tex\gt S^-_{\upsilon \in T_s}.
 17:    '''else if''' \lt tex\gt t[/math] mod 10 = 0 then
18:      Update {[math]w_4, w_5, w_6[/math]} using [math]S^+_{\upsilon \in T_l} and \lt tex\gt S^-_{\upsilon \in T_l}.
 19: '''until''' end of sequence
   

=== Multiple object tracking ===
'''MOT''' (''Multiple object tracking'')
* Задача "выделения и сопровождения множества объектов"
** Нужно найти все объекты на кадрах
** Определить сколько у нас разных "экземпляров" объектов
** Найти на каких кадрах виден каждый экземпляр и где он именно
* Обобщение задачи "выделение объектов на изображении" на случайном видео
* В отличие от VOT:
** Работает со множеством объектов
** На длительных промежутках времени
** Есть модель объектов (возможность повторного обнаружения)
** Разрешено "заглядывать в будущее"

==== Пример алгоритма ====
# Поиск голов на ключевых кадрах
# Построение треклетов
## Визуальное сопровождение
## Получаем гипотезы движения объектов между ключевыми кадрами (треклеты)
# Объединение треклетов в траектории
## Алгоритм MCMC DA
### Построение выборки из распределения 
### Алгоритм Метрополиса — Гастингса
### Элемент с максимальной вероятностью
## Восстановление положения на промежуточных кадрах

=== Основные трудности ===
* Вычислительная нагрузка
** Нужно обрабатывать \lt tex\gt N[/math] кадров в секунду
  • Изменение по времени
    • Вид объекта меняется от кадра к кадру из-за ракурса, изменения освещения, внутренний изменений
  • Взаимодействие объектов
    • Перекрытие объектов
    • Визуальное сходство объектов
  • Для оценки качества работы алгоритмов слежения и настройки параметров требуются размеченные эталонные данные
  • Подготовить эталонные данные для видео существенно сложнее, чем для изображения
    • Один эталонный пример для выделения объектов — одно изображение
    • Один эталонный пример для отслеживания объектов — одно видео
  • Сейчас есть хорошие конкурсы, но объём данных по прежнему ограничен, особенно для MOT


Список литературы

1. Hu W. M., Tan T. N., Wang L., Maybank S. A survey of visual surveillance of object motion and behaviors // IEEE Transactions on System, Man, and Cybernetics (T-SMC), Part C. – 2004. Vol. 34(3). – P. 334-352.

2. Лавелина Е.С., Закуанова М.Р., Масловская М.А. ОТСЛЕЖИВАНИЕ ОБЪЕКТОВ В ВИДЕОПОТОКЕ // Научное сообщество студентов XXI столетия. ТЕХНИЧЕСКИЕ НАУКИ: сб. ст. по мат. LIV междунар. студ. науч.-практ. конф. № 6(53). URL: https://sibac.info/archive/technic/6(53).pdf (дата обращения: 20.04.2020)

3. Анализ изображений и видео. Часть 2

Источник — «http://neerc.ifmo.ru/wiki/index.php?title=Анализ_видео&oldid=74074»