Изменения

|definition='''Синтетические данные''' — это наборы данных для применения программно сгенерированные данные, используемые в прикладных задачах бизнес-приложениях (в том числе в машинном обучении), которые не были получены исключительно путём прямого сбора и измерений.<ref name="mcgrawhilldict">McGraw - Hill dictionary of scientific and technical terms / Под ред. Sybil P. Parker. - 3-е изд. - New York: McGraw - Hill book co., 1984</ref>.

Нередко возникают ситуации, когда получение реальных данных бизнес-процессов сложно или дорого, но при этом известны требования к таким объектамбизнес-процессам, правила их генерации создания и законы распределения. Как правило, это происходит, когда речь идёт о чувствительных персональных данных — например, информации о банковских счетахили медицинской информации. В таких случаях необходимые наборы данных можно [[Генерация объектов|программно сгенерировать. == Применение == Сгенерированные объекты можно использовать в задаче обучения с учителем для расширения обучающего множества, сведя её к задачам частичного обучения и самообучения. В тестовых множествах использовать синтетические наборы данных нельзя: в них должны быть только реальные объекты. При генерации синтетических наборов данных необходимо учитывать специфику каждого конкретного случая, общего универсального способа генерации данных не существует]].

В случае, когда реальные данные отсутствуютили их сбор невозможен (из-за большой длительности или дороговизны процесса), наборы генерируются полностью случайным образом на основе некой статистической модели, которая учитывает законы распределения реальных данных. Однако, такой подход не всегда оправдывает себя из-за того, что синтетические данные могут не учитывать весь спектр возможных случаев, и полученная с помощью такого набора модель может давать непредсказуемые результаты в крайних случаях. Также применяется [[wikipedia:Data_augmentation|аугментация]] — генерация наборов на основе имеющихся реальных данных. К имеющимся данным применяются различные способы искажения: например, для изображений могут использоваться различные геометрические преобразования, искажения цвета, кадрирование, поворот, добавление шума и иные. Для числовых данных могут использоваться такие искажения, как добавление объектов с усреднёнными значениями, смешивание с объектами из другого распределения, добавление случайных выбросов.

* Взять что-то из Также применяется [[wikipedia:Oversampling_and_undersampling_in_data_analysisData_augmentation|аугментация]](англ. augmentation) — генерация наборов на основе имеющихся бизнес-процессов.* Можно картинку К имеющимся данным применяются различные способы искажения: например, для изображений могут использоваться различные геометрические преобразования, искажения цвета, кадрирование, поворот, добавление шума и иные. Для числовых данных могут использоваться такие искажения, как добавление объектов с усреднёнными значениями, смешивание с объектами из https://habrдругого распределения, добавление случайных выбросов.com/ru/company/smartengines/blog/264677/

* Известность параметров генерации, а значит, и генеральной совокупности: можно сравнить оценки модели и истинные параметры, и исходя из этого судить о качестве полученных выборочных оценок модели на параметры распределений путём сравнения их с истинными параметрамипараметров.

[[Файл:TextSharpener-Identity.png|200px|thumb|right|Рисунок 1. Пример работы TextSharpener. Слева направо: размытое изображение, исходное изображение, результат работы алгоритма<ref name="TextSharpener">Unblurring images of text with convolutional neural networks — https://gardarandri.github.io/TextSharpener/ — Retrieved January 8, 2021</ref>.]] == Автономный транспорт =TextSharpener == = Алгоритм TextSharpener<ref name="TextSharpener"/>, разработанный по методологии SCRUM в Университете Исландии и основанный на [[Сверточные нейронные сети|свёрточной нейронной сети]], позволяет убирать размытие текста на изображениях (см. рисунок 1). Для подготовки набора данных, который подошёл для обучения такого алгоритма, хватило [https://github.com/gardarandri/TextSharpener/blob/master/generator/GenImages.py тривиального скрипта] на Python, генерирующего случайные прямоугольники и надписи на них, а затем размывавшего их, с помощью библиотеки PIL<ref name="PIL">Pillow — Pillow (PIL Fork) 8.1.0 Documentation — https://pillow.readthedocs.io/en/stable/ — Retrieved January 25, 2021</ref>. [[Файл:Jefferson_Graham_on_Manhattan_Beach_Pier.jpeg|200px|thumb|left|Рисунок 2. Фотография, сделанная широкоугольной камерой<ref>https://commons.wikimedia.org/wiki/File:Jefferson_Graham_on_Manhattan_Beach_Pier.jpg — Retrieved January 24, 2021</ref>.]] === OmniSCV === Нередко различные устройства оснащаются широкоугольными и панорамными камерами с углом обзора до 360°. Изображения, получаемые с таких камер, обладают довольно сильными искажениями (см. рисунок 2).Генератор изображений комнат OmniSCV<ref name="OmniSCV">OmniSCV — https://www.mdpi.com/1424-8220/20/7/2066/htm — Retrieved January 11, 2021</ref> используется при разработке роботов для обучения алгоритмов [[Компьютерное зрение|компьютерного зрения]] для устранения искажений широкоугольных объективов и неидеальных условий освещённости. Генератор умеет симулировать различные варианты бизнес-процессов — [[wikipedia:Equirectangular projection|равноугольные]] и [[wikipedia:Cylindrical perspective|цилиндрические]] панорамы, [[wikipedia:Fisheye lens|«рыбьи глаза»]] и [[wikipedia:Catadioptric system|катадиоптрические системы]], а также сопровождать сгенерированные изображения комнат вспомогательной информацией об окружающем пространстве и параметрах используемой камеры (см. рисунок 3). Изображения этого набора данных генерируются с помощью графического движка Unreal Engine 4<ref name="ue">EpicGames. Unreal Engine 4 Documentation. — https://docs.unrealengine.com/en-US/index.html — Retrieved January 21, 2021</ref> и плагина UnrealCV<ref name="uecv">UnrealCV — https://unrealcv.org/ — Retrieved January 24, 2021</ref>. Каждое преобразование задаётся несложной функцией, связывающей координаты плоскости исходного изображения и луча, исходящего из окружающей среды. Например, для равноугольной проекции удобнее всего использовать [[wikipedia:Spherical coordinate system|сферические координаты]]: <tex>(\theta, \phi) = ((\frac{2x}{x_{max}}-1)\pi, (1/2 - \frac{y}{y_{max}})\pi)</tex>, где <tex>(x, y)</tex> — координаты пикселя, а <tex>(x_{max}, y_{max})</tex> — разрешение изображения. За центр сферы в этой системе координат принимается [[wikipedia:Cardinal point (optics)#Principal planes and points|оптический центр]]. {{wide image|Omniscv-example.png|1580px|Рисунок 3. Примеры полученных панорам. Слева направо: равноугольная, цилиндрическая и нецентральная (non-central) проекция<ref name="OmniSCV"/>.}} [[Файл:Flyingchairs.png|200px|thumb|right|Рисунок 4. Пример из набора FlyingChairs<ref name="FlyingChairs">Computer Vision Group, Freiburg — https://lmb.informatik.uni-freiburg.de/resources/datasets/FlyingChairs.en.html — Retrieved January 11, 2021</ref>.]] === FlyingChairs === Набор данных FlyingChairs<ref name="FlyingChairs" /> и его производные представляют из себя наборы изображений, на которые искусственно добавлены предметы в движении (например, стулья, как на рисунке 4). Эти наборы данных применяются в алгоритмах [[Компьютерное зрение|компьютерного зрения]], в частности для поиска движения. FlyingChairs строится следующим образом: авторы выбрали несколько сотен изображений с фотохостинга [https://flickr.com Flickr] из категорий «город», «ландшафт», «горы». Части этих изображений использовались в качестве фона. Далее на них накладывались стулья<ref name="fc-chairs">Aubry M., Maturana D., Efros A., Russell B., Sivic J. Seeing 3d chairs: exemplar part-based 2d-3d alignment using a large dataset of cad models — InCVPR, 2014</ref>, для каждого стула были представлены 62 различных угла обзора. С помощью двумерных аффинных преобразований сдвигается как фон, так и стулья — это позволяет эмулировать одновременно движение как стульев, так и «камеры». Авторы используют другой набор данных, MPI Sintel<ref name="sintel">Butler D. J., Wulff J., Stanley G. B., Black M.J. Anaturalistic open source movie for optical flow evaluation // ECCV, Part IV — Springer-Verlag, 2012 — с. 611–625</ref>, для получения информации об естественном распределении таких параметров, как начальные позиции объектов и параметры движения, и сохранении этого распределения. [[Файл:Vc-clothes.png|400px|thumb|left|Рисунок 5. Пример данных набора VC-Clothes. В первой строке — фон, в каждой из следующих — один и тот же человек в разной одежде<ref name="VC-Clothes">VC-Clothes — https://wanfb.github.io/dataset.html — Retrieved January 11, 2021</ref>.]] === VC-Clothes === Набор данных VC-Clothes<ref name="VC-Clothes"/> создан для разработки алгоритмов реидентификации. Он представляет из себя сгенерированные изображения одинаковых людей в разной одежде и на разном фоне. Помимо реидентификации, этот набор данных также может быть использован для решения задачи семантической [[Сегментация изображений|сегментации]], для отделения пикселей, соответствующих одежде, от пикселей, соответствующих лицу персонажа. Для создания набора была использована известная компьютерная игра Grand Theft Auto V. Эта игра поддерживает детальную настройку внешнего вида персонажей, произвольные параметры окружающей среды (освещение, угол обзора) и большое количество встроенных сцен — множество улиц, зданий и других мест. При генерации фиксируется маршрут каждого персонажа и позиции камер. Не со всех ракурсов распознаётся непосредственно лицо (см. рисунок 5), но человек вполне может быть распознан по полу, возрасту, фигуре, причёске и другим характеристикам. В итоге набор изображений включает 512 персонажей, 4 сцены и в среднем 9 изображений для каждого персонажа и каждой сцены. [[Файл:SynthText-in-the-Wild.png|200px|thumb|right|Рисунок 6. Пример изображения из набора SynthText in the Wild<ref name="SynthText">Visual Geometry Group - University of Oxford — https://www.robots.ox.ac.uk/~vgg/data/scenetext/ — Retrieved January 19, 2021</ref>.]] === SynthText in the Wild === Набор данных SynthText in the Wild<ref name="SynthText"/> разработан для обучения алгоритмов [[Распознавание текста на изображении|распознавания текста на изображении]]. Он берёт обычные изображения и накладывает на них неизогнутый текст из определённого набора (см. рисунок 6). Набор сопровождается подробной аннотацией: для каждого изображения указаны используемые фразы, а также координаты каждого слова и символа на изображении.

'''Автономный транспорт''' — это вид транспортаЧтобы полученный набор выглядел натурально, управление которым осуществляется без участия человека при помощи оптических датчиков, систем геолокации и компьютерных алгоритмовприменяется следующий подход<refname="SynthText-paper">Self-driving car — https://enGupta A., Vedaldi A.wikipedia, Zisseman A.orgSynthetic Data for Text Localisation in Natural Images /wiki/Self-driving_car — Retrieved January 8, 2020IEEE Conference on Computer Vision and Pattern Recognition — 2016</ref>. При реализации алгоритмов управления автономным транспортом наиболее важно поведение транспортного средства Сначала изображение делится на несколько областей в критических ситуацияхзависимости от значений соседних цветов и текстуры. Затем с помощью [[Сверточные нейронные сети|CNN]] строится карта глубины — определяется, таких как помехи на дороге какая точка ближе к камере, а какая дальше (см. рисунок 7). После этого можно по каждой области определить нормаль к поверхности. Алгоритм исключает из выбора неподходящие поверхности — очень маленькие, непропорциональные или некорректные показания сенсоров — от этого могут зависеть жизни людейортогональные направлению съемки. В реальных данных жеНаконец, наоборотна основе цвета области выбирается цвет текста (и иногда — контура), в основном присутствуют штатные ситуациислучайным образом выбирается шрифт, после чего текст «накладывается» на изображение с помощью геометрических трансформаций и преобразования Пуассона. Этот процесс повторяется несколько раз, чтобы наложить сразу несколько текстовых объектов на изображение.

Для решения этой проблемы компания nVidia разработала платформу NVIDIA DRIVE Constellation<ref>[https://www.nvidia.com/content/dam/en{{wide image|Synthtext-zz/Solutions/deepGeneration-learning/resources/accelerating-ai-with-synthetic-data-ebook/accelerating-ai-with-synthetic-data-nvidia_webProcess.png|1100px|Рисунок 7.pdf El Emam, KПроцесс нанесения текста на изображение. Accelerating AI with Synthetic Data] Слева направо: исходное изображение; карта глубины (светлее — Beijing, Boston, Farnham, Sebastopol, Tokyo: O'Reilly Media, Inc., 2020.дальше); разбиение на поверхности; области для нанесения текста и случайно выбранный для них цвет; готовое изображение<ref name="SynthText-paper"/ref>, которая состоит из двух серверов. Один из них исполняет роль обучаемого транспортного средства, а второй непрерывно генерирует для первого различные «миниатюрные миры», включающие в себя симуляцию вывода с камеры, радара и лидаров.}}

В обучении компания использует два режима — симуляция объектов (англ[[Файл:UnityEyes.png|200px|thumb|left|Рисунок 8. ''postperception simulation'') и симуляция мира (англОбразцы глаз, смотрящие в различных направлениях<ref name="unityeyes">Wood, E. ''end-to-end simulation''), Baltrusaitis, T. В режиме симуляции объектов из сгенерированных миров обучаемому алгоритму передаётся список объектов и их подробное описание, в свою очередь алгоритм должен выбрать дальнейшие действия автомобиляMorency, L. В режиме симуляции мира на вход алгоритму подаются показания датчиков из сгенерированного мира, и алгоритм должен также распознать с помощью этих показаний присутствующие вокруг объекты и их характеристикиRobinson, P. Этот режим полезен тем, что он более похож на реальный мир и учитывает помехиBulling, возникающие на сенсорахA. Learning an appearance-based gaze estimator from one million synthesised images // Proceedings of the Ninth Biennial ACM Symposium on Eye Tracking Research & Applications — 2016</ref>.]]

=== TextSharpener UnityEyes ===

В 2016 году по методологии SCRUM была разработана утилита [[Файлhttps:TextSharpener-Identity//www.cl.cam.png|200px|thumb|right|Пример работы TextSharpenerac. Слева — исходное изображениеuk/research/rainbow/projects/unityeyes/ UnityEyes], которая позволяет в реальном времени генерировать реалистичные изображения глаз, посередине — размытоенаправленных в нужном направлении, справа показанные с требуемого ракурса (см. рисунок 8). Это позволяет решать задачу '''окулографии''' (англ. gaze estimation) — результат работы алгоритмаопределения направления взгляда человека по фотографии.]]

Одно из самых наглядных применений аугментации данных — алгоритмы восстановления изображений. Для работы таких алгоритмов исходный набор изображений расширяется их копиями, к которым применяются некие преобразования из фиксированного набора. На основе полученных изображений генерируется датасет, Программист бизнес-приложений получает в котором входными данными считаются полученные изображениядва раза больше программистов других приложений, а целевыми — исходныепоэтому он должен знать и эти алгоритмы.

В самом делеИзображения генерируются с помощью игрового движка Unity 5, получить реальные данные доработанного авторами UnityEyes для такой задачи — фотографию значительного ускорения рендеринга. Используются 20 трёхмерных изображений головы людей различного возраста, с различным цветом кожи и её же нечеткую копию — довольно затруднительно, а применение таких преобразований довольно легко автоматизируетсяформой глаз. Таким образомПомимо этого, если исходные изображения достаточно хорошо описывали источник данных, то полученный датасет можно применять используются HDR-панорамы для обучения алгоритма восстановления изображений, устраняющего применённые преобразованияполучения естественного окружающего зеркального отблеска в глазах.

Один из известных алгоритмов такого рода — TextSharpener[[Файл:Nvidia-drive-sample.png|400px|thumb|right|Рисунок 9. Примеры миров, сгенерированных NVIDIA DRIVE<ref name="TextSharpenernvidia">Unblurring images of text with convolutional neural networks — [https://gardarandriwww.githubnvidia.iocom/content/dam/en-zz/Solutions/TextSharpenerdeep-learning/ — Retrieved January 8resources/accelerating-ai-with-synthetic-data-ebook/accelerating-ai-with-synthetic-data-nvidia_web.pdf El Emam, K. Accelerating AI with Synthetic Data] — Beijing, Boston, Farnham, Sebastopol, Tokyo: O'Reilly Media, Inc., 2020.</ref>. Этот алгоритм, разработанный в Университете Исландии и основанный на [[Сверточные нейронные сети|свёрточной нейронной сети]], позволяет убирать размытие текста на изображениях.

* Датасет FlyingChairs и его производные представляют Для обучения автономного транспорта компания NVIDIA разработала по методологии SCRUM платформу NVIDIA DRIVE Constellation<ref name="nvidia" />, которая состоит из двух серверов. Один из них исполняет роль обучаемого транспортного средства, а второй непрерывно генерирует для первого различные «миниатюрные миры», включающие в себя наборы изображенийсимуляцию вывода с камеры, на которые искусственно добавлены предметы в движении радара и лидаров. В обучении используется два режима — симуляция после восприятия (англ. ''postperception simulation'') и сквозная симуляция (например, стульяангл. ''end-to-end simulation''). Такие наборы данных применяются при решении таких задач компьютерного зрения, как семантическая сегментация В режиме симуляции объектов из сгенерированных миров (добавить ссылку на конспект про сегментациюсм. рисунок 9)обучаемому алгоритму передаётся список объектов и их подробное описание, поиск и локализация объекта (либо добавить ссылку в свою очередь алгоритм должен выбрать дальнейшие действия автомобиля. В режиме симуляции мира на конспект про локализациювход алгоритму подаются показания датчиков из сгенерированного мира, либо текстом "нахождение объекта на изображении и обозначение его границ")алгоритм должен также распознать с помощью этих показаний присутствующие вокруг объекты и их характеристики. Этот режим полезен тем, а так же что он более сложныхпохож на реальный мир и учитывает помехи, таких как поиск движения. (https://lmb.informatik.uni-freiburgвозникающие на сенсорах.de/resources/datasets/FlyingChairs.en.html)

* Одежда (??)[[Автоматическое машинное обучение]]* [[Генерация объектов]]* [[Переобучение]]