Синтетические наборы данных

Определение:

Синтетические данные — это программно сгенерированные данные, используемые в прикладных задачах (в том числе в машинном обучении).

Нередко возникают ситуации, когда получение реальных данных сложно или дорого, но при этом известны требования к таким объектам, правила создания и законы распределения. Как правило, это происходит, когда речь идёт о чувствительных персональных данных — например, информации о банковских счетах. В таких случаях необходимые наборы данных можно программно сгенерировать.

Применение

Сгенерированные объекты можно использовать в задаче обучения с учителем для расширения обучающего множества, сведя её к задачам частичного обучения и самообучения. В тестовых множествах использовать синтетические наборы данных нельзя: в них должны быть только реальные объекты.

Синтетические данные используют не только при недоступности реальных, но и для того, чтобы изменить распределение классов в уже имеющихся данных, дополнив их по определённому алгоритму.

При генерации синтетических наборов данных необходимо учитывать специфику каждого конкретного случая, общего алгоритма, подходящего для всех случаев не существует. Как правило, общие алгоритмы наподобие добавления средних значений оказываются нерепрезентативными.

Виды генерации

Существует два основных подхода к генерации синтетических наборов данных.

В случае, когда реальные данные отсутствуют, наборы генерируются полностью случайным образом на основе некой статистической модели, которая учитывает законы распределения реальных данных. Однако, такой подход не всегда оправдывает себя из-за того, что синтетические данные могут не учитывать весь спектр возможных случаев, и полученная с помощью такого набора модель может давать непредсказуемые результаты в крайних случаях.

Также применяется аугментация (англ. augmentation) — генерация наборов на основе имеющихся реальных данных. К имеющимся данным применяются различные способы искажения: например, для изображений могут использоваться различные геометрические преобразования, искажения цвета, кадрирование, поворот, добавление шума и иные. Для числовых данных могут использоваться такие искажения, как добавление объектов с усреднёнными значениями, смешивание с объектами из другого распределения, добавление случайных выбросов.

Достоинства

• Возможность генерации наборов данных практически любого размера.

• Известность параметров генерации, а значит, и генеральной совокупности: можно сравнить оценки модели и истинные параметры, и исходя их этого судить о качестве полученных выборочных оценок параметров.

• Ускорение и удешевление процесса разработки: не нужно ждать, пока будет собран и размечен достаточный объём реальных данных.

• Повышение доступности больших объёмов данных.

Недостатки

• Отсутствие универсального способа генерации, применимого для любых задач: в каждом конкретном случае необходимо дополнительное исследование требований, накладываемых на генерируемые данные.

• Отсутствие универсальных метрик качества и применимости генерируемых данных.

• Излишняя «стерильность» получаемых данных: в общем случае неизвестно, какими могут быть выбросы в реальных данных.

Примеры

Рис 1. Пример работы TextSharpener. Слева — размытое изображение, посередине — исходное, справа — результат работы алгоритма.

TextSharpener

Одно из самых наглядных применений аугментации данных — алгоритмы восстановления изображений. Для работы таких алгоритмов исходный набор изображений расширяется их копиями, к которым применяются некие преобразования из фиксированного набора. На основе полученных изображений генерируется датасет, в котором входными данными считаются полученные изображения, а целевыми — исходные.

В самом деле, получить реальные данные для такой задачи — фотографию и её же нечеткую копию — довольно затруднительно, а применение таких преобразований довольно легко автоматизируется. Таким образом, если исходные изображения достаточно хорошо описывали источник данных, то полученный датасет можно применять для обучения алгоритма восстановления изображений, устраняющего применённые преобразования.

Один из известных алгоритмов такого рода — TextSharpener. Этот алгоритм, разработанный в Университете Исландии и основанный на свёрточной нейронной сети, позволяет убирать размытие текста на изображениях (см. изображение 1). Для подготовки набора данных, который подошёл для обучения такого алгоритма, хватило тривиального скрипта на Python, генерирующего случайные прямоугольники и надписи на них, а затем размывавшего их.

Рис. 2. Фотография, сделанная широкоугольной камерой

OmniSCV

Нередко различные устройства оснащаются широкоугольными и панорамными камерами с углом обзора до 360°. Изображения, получаемые с таких камер, обладают довольно сильными искажениями (см. рис. 2). Генератор изображений комнат OmniSCV используется при разработке роботов для обучения алгоритмов компьютерного зрения для устранения искажений широкоугольных объективов и неидеальных условий освещённости.

Генератор умеет симулировать различные варианты объективов — равноугольные и цилиндрические панорамы, «рыбьи глаза» и катадиоптрические системы, а также сопровождать сгенерированные изображения комнат вспомогательной информацией об окружающем пространстве и параметрах используемой камеры.

Изображения этого набора данных генерируются с помощью графического движка Unreal Engine 4 и плагина UnrealCV. Каждое преобразование задаётся несложной функцией, связывающей координаты плоскости исходного изображения и луча, исходящего из окружающей среды. Например, для равноугольной проекции удобнее всего использовать сферические координаты: [math] (\theta, \phi) = ((\frac{2x}{x_{max}}-1)\pi, (1/2 - \frac{y}{y_{max}})\pi)[/math], где [math](x, y)[/math] — координаты пикселя, а [math](x_{max}, y_{max})[/math] — разрешение изображения.

Рис 3. Примеры полученных панорам. Слева направо: равноугольная, цилиндрическая и нецентральная (non-central) проекция

Рис 4. Пример из набора FlyingChairs.

FlyingChairs

Набор данных FlyingChairs и его производные представляют из себя наборы изображений, на которые искусственно добавлены предметы в движении (например, стулья, как на рис. 4). Эти наборы данных применяются при решении таких задач компьютерного зрения, как семантическая сегментация, поиск и локализация объекта, а также более сложных, например, для поиска движения.

FlyingChairs строится следующим образом: авторы выбрали несколько сотен изображений с фотохостинга Flickr из категорий «город», «ландшафт», «горы». Части этих изображений использовались в качестве фона. Далее на них накладывались стулья, для каждого стула были представлены 62 различных угла обзора.

С помощью двумерных аффинных преобразований сдвигается как фон, так и стулья — это позволяет эмулировать одновременно движение как стульев, так и «камеры». Авторы используют другой набор данных, MPI Sintel, для получения информации об естественном распределении таких параметров, как начальные позиции объектов и параметры движения, и сохранении этого распределения.

VC-Clothes

Набор данных VC-Clothes создан для разработки алгоритмов реидентификации — определения, действительно ли на двух изображениях один и тот же человек. Эти алгоритмы могут использоваться для нахождения людей на записях с камер, на пограничных пунктах и так далее. VC-Clothes представляет из себя сгенерированные изображения одинаковых людей в разной одежде и на разном фоне. Помимо реидентификации, этот датасет также может быть использован для решения задачи семантической сегментации, для отделения пикселей, соответствующих одежде, от пикселей, соответствующих лицу персонажа.

Рис. 6. Пример изображения из набора SynthText in the Wild

SynthText in the Wild

Набор данных SynthText in the Wild разработан для обучения алгоритмов распознавания текста на изображении. Он берёт обычные изображения и накладывает на них текст из определённого набора (рис. 6). Набор сопровождается подробной аннотацией: для каждого изображения указаны используемые фразы, а также координаты каждого слова и символа на изображении.

Чтобы полученный набор выглядел натурально, применяется следующий подход. Сначала изображение делится на несколько областей в зависимости от значений соседних цветов и текстуры. Затем с помощью CNN строится карта глубины — определяется, какая точка ближе к камере, а какая дальше. После этого можно по каждой области определить нормаль к поверхности. Наконец, на основе цвета области выбирается цвет текста (и иногда — контура), случайным образом выбирается шрифт, после чего текст «накладывается» на изображение с помощью геометрических трансформаций и преобразования Пуассона (рис. 7). Этот процесс повторяется несколько раз, чтобы наложить сразу несколько текстовых объектов на изображение.

Рис 7. Процесс генерации набора. Слева направо: исходное изображение; карта глубины (светлее — дальше); разбиение на поверхности; области для нанесения текста и случайно выбранный для них цвет

Рис 8. Примеры миров, сгенерированных NVIDIA DRIVE.

Другие применения

Автономный транспорт — это вид транспорта, управление которым осуществляется без участия человека при помощи оптических датчиков, систем геолокации и компьютерных алгоритмов. Алгоритму управления транспортным средством нужно решить две задачи: сначала выявить окружающие объекты — машины, дорожные знаки, пешеходов, а затем принять решение о направлении и скорости дальнейшего движения. При реализации таких алгоритмов наиболее важно поведение транспортного средства в критических ситуациях, таких как помехи на дороге или некорректные показания сенсоров — от этого могут зависеть жизни людей. В реальных данных же, наоборот, в основном присутствуют штатные ситуации.

Для решения этой проблемы компания NVIDIA разработала платформу NVIDIA DRIVE Constellation, которая состоит из двух серверов. Один из них исполняет роль обучаемого транспортного средства, а второй непрерывно генерирует для первого различные «миниатюрные миры», включающие в себя симуляцию вывода с камеры, радара и лидаров.

В обучении компания использует два режима — симуляция после восприятия (англ. postperception simulation) и сквозная симуляция (англ. end-to-end simulation). В режиме симуляции объектов из сгенерированных миров (рис. 8) обучаемому алгоритму передаётся список объектов и их подробное описание, в свою очередь алгоритм должен выбрать дальнейшие действия автомобиля. В режиме симуляции мира на вход алгоритму подаются показания датчиков из сгенерированного мира, и алгоритм должен также распознать с помощью этих показаний присутствующие вокруг объекты и их характеристики. Этот режим полезен тем, что он более похож на реальный мир и учитывает помехи, возникающие на сенсорах.

См. также

• Автоматическое машинное обучение
• Генерация объектов
• Переобучение

Источники

• Synthetic data — https://en.wikipedia.org/wiki/Synthetic_data — Retrieved January 11, 2021
• McGraw - Hill dictionary of scientific and technical terms / Под ред. Sybil P. Parker. - 3-е изд. - New York: McGraw - Hill book co., 1984